大数据
IU小迷弟
少说多做
展开
-
java mysql发送数据到kafka,消费数据之后将数据保存进hive
一.连接mysqlpublic class JdbcToMysql { private static Connection connection = JdbcConnecMysql.getConnection(); private static PreparedStatement ps; private static ResultSet resultSet; public static List<Table> getData(String tables) {原创 2021-06-17 19:38:58 · 1012 阅读 · 2 评论 -
超详细hadoop分布式搭建
基本要求- 操作系统: win10/win7- 虚拟软件: VMware14- 虚拟机: 主机名 IP master 10.0.33.90 slave1 10.0.33.91 slave2 10.0.33.92- 软件包存储路径: /opt/software/- 软件安装路径: /opt/apps/- Jdk: jdk-8u221-linux-原创 2021-05-18 15:23:09 · 256 阅读 · 6 评论 -
Zookeeper的启动命令
启动ZK服务: sh bin/zkServer.sh start查看ZK服务状态: sh bin/zkServer.sh status停止ZK服务: sh bin/zkServer.sh stop重启ZK服务: sh bin/zkServer.sh restart原创 2021-02-26 11:15:46 · 1744 阅读 · 1 评论 -
kafka的常用命令
启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &启动kafkabin/kafka-server-start.sh config/server.properties &停止kafkabin/kafka-server-stop.sh停止zookeeperbin/zookeeper-server-stop.sh创建topicbin/kafka-topics.sh --create --zo原创 2021-02-26 10:24:42 · 96 阅读 · 0 评论 -
大数据学习笔记
1.Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行2.Hadoop2.x以上支持双机热备3.Hadoop神奇的一部分在于sort和shuffle过程4.Hadoop本身提供了一套可优化网络序列化传输的基本类型:LongWritable 相对于 Java 的LongText 相对于StringIntWritable相对于Integer```5.Hadoop将作业分成若干个小任务(Task)来执行,器中包括两类原创 2021-02-21 18:24:08 · 252 阅读 · 0 评论 -
Application application xxx failed 2 times due to AM Container for appattempt_xxx exited with exit
21/02/06 10:06:37 INFO mapreduce.Job: map 0% reduce 0%21/02/06 10:06:37 INFO mapreduce.Job: Job job_1612576553072_0003 failed with state FAILED due to: Application application_1612576553072_0003 failed 2 times due to AM Container for appattempt_161257655原创 2021-02-06 11:12:58 · 11900 阅读 · 17 评论 -
django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: libmysqlclient.so.20: can
我是搭建的test服务器,原因是我安装hue的时候/usr/lib/x86_64-linux-gnu这个路径下面缺少/usr/lib/x86_64-linux-gnu依赖,我直接从服务器上面把依赖sz/rz过来就好了.命令:sudo sz libmysqlclient.so.20*(这是我的开发服务器)source /etc/profilesudo ./start.sh就ok了....原创 2021-02-05 09:26:08 · 245 阅读 · 0 评论 -
ubuntu16.04中Apt安装RabbitMQ
1.ubuntu16.04中安装RabbitMQ1).首先必须要有Erlang环境支持安装之前要装一些必要的库:sudo apt-get install build-essentialsudo apt-get install libncurses5-devsudo apt-get install libssl-devsudo apt-get install m4sudo apt-get install unixodbc unixodbc-devsudo apt-get install fre原创 2021-01-27 10:50:07 · 621 阅读 · 0 评论 -
Hadoop入门(持续更新)
定义:Apache所开发的并行计算框架和分布式文件系统.Hadoop最初用作Nutch底层的海量数据存储和处理,后来人们发现他也非常适合大数据场景下的数据存储和处理,主要用作海量离线数据的存储和离线数据的计算。优势:高可靠,高扩展,高效,高容错Hadoop1.x与Hadoop2.x区别(耦合性)核心模块HadoopCommon:工具类,之前叫Hadoopcore包含:configuration(系统配置工具)RPC(远程调用)序列化机制FileSystem(抽象类文件系统)作用:原创 2021-01-07 21:12:33 · 226 阅读 · 0 评论