- 博客(9)
- 收藏
- 关注
RSS订阅原创 spark
scala> val rdd = sc.textFile("hdfs://hadoop-senior.ibeifeng.com:8020/user/beifeng/mapreduce/wordcount/input/wc.input")scala> val wordRdd = rdd.flatMap(_.split(" "))scala> val kvRdd = word...
2019-05-13 10:46:11
135
原创 HIVE笔记
Hive HDFS 存储数据 YARN 资源管理 MapReduce 处理数据 日志 日志内容，统一的规范 * 每一行数据就是一条数据 （RDBMS） * 很多列，统一的标识符，进行分...
2019-05-13 10:29:02
235
原创 CDH集群搭建详细步骤
CDH集群搭建笔记企业： 第一个方面： 数据分析 第二个方面： 数据检索基本组件： * Zookeeper 分布式协作框架 节点数目 测试集群：3 个 生产集群： >> 小型集群, 3 个或者 5个 >> 中型机群，５ 个 或者 ７个 >> 大型机群, 奇数个 * HDFS 存储...
2019-04-11 12:57:53
7461
原创 HBASE常用命令
create 'user','info'表名称，rowkey，列簇：列名，数据put 'user','10001','info:name','zhangsan'put 'user','10001','info:age','25'put 'user','10001','info:sex','male'put 'user','10001','info:address','shanghai'...
2019-04-11 11:34:37
176
原创 mysql导入hive进行分析
-------------------------mysql---创建表----------------------------------mysql -uroot -p123456create database if not exists stucour;use stucour;create table if not exists student (id int,name varch...
2019-04-11 11:32:14
213
原创 HBASE通过bulkload方式将文件导入到HBASE数据库2
//--------------第0步导出ORACLE表到HDFS------------bin/sqoop import \--connect jdbc:oracle:thin:@192.23.0.53:1521/PDBORCL \--username hljcreditc_user \--password hljcredit_pwd \--table T_B_CORE_BDATA \...
2019-04-11 11:29:22
424
原创 SQOOP常用命令
bin/sqoop list-databases –connect jdbc:mysql://master:3306 –username root –password 123456 //测试MYSQLbin/sqoop import –connect jdbc:mysql://master:3306/test –username root –passwor...
2019-04-11 11:18:49
236
原创 HDFS常用命令
hadoop软件包目录下bin/hdfs dfs -mkdir -p /user/beifeng/tmp/conf //在HDFS上创建一个目录bin/hdfs dfs -put etc/hadoop/*-site.xml /user/beifeng/tmp/conf //把文件上传到该目录上bin/hdfs dfs -text /user/beifeng/tmp/con...
2019-03-29 20:49:14
144
原创 HBASE通过bulkload方式将文件导入到HBASE数据库
HBASE通过bulkload方式将文件导入到HBASE数据库//---------------------第一步把文件转换为hfile 本例是把importtsv文件下的数据文件输出到hfileoutput转换成hfile----------------------------export HBASE_HOME=/opt/modules/hbase-1.3.1export HADOOP_H...
2019-03-29 20:44:11
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人