![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Big Data ·Continue·
分享大数据相关知识
鱼金三
这个作者很懒,什么都没留下…
展开
-
sqoop数据的导入和导出
一、sqoop使用导入 1、链接MySQL,查看有哪些表,换行语句必须有(空格+\) bin/sqoop list-databases \ --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306 \ --username root \ --password 123456 2、导入数据到HDFS 在MySQL创建一张表,并准备一些数据 ...原创 2018-04-10 20:31:24 · 619 阅读 · 0 评论 -
cdh版本集群快速搭建
1、解压hadoop2、配置hadoop-env.sh mapreduce yarn 三个文件的:JAVA_HOME3、core-site.xml:配置 (默认端口和临时目录) <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-se...原创 2018-04-09 13:27:48 · 433 阅读 · 0 评论 -
Hive中数据压缩(企业优化)
二 、配置mapreduce和hive中使用snappy压缩 将snappy解压,将Lib下的native复制到hadoop下的lib 1、 实际就是对mapreduce过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式 数据存储 * 按行存储数据:TEXTFILE * 按列存储数据: ...原创 2018-04-06 14:33:29 · 509 阅读 · 0 评论