hadoop解析篇
xianjie0318
坚持下去
展开
-
在centos6.5上离线安装Cloudera Manager 以及CDH
准备资源下载安装程序cloudera-manager-installer.binhttp://archive-primary.cloudera.com/cm5/installer/5.3.2/cloudera-manager-installer.bin下载CM 5.3.2http://archive-primary.cloudera.com/cm5/repo-as-tarbal原创 2017-01-24 13:55:13 · 2133 阅读 · 0 评论 -
Hadoop集群认知(一)
阅读wzy0623的博客专栏:基于Hadoop生态圈的数据仓库实践http://blog.csdn.net/wzy06231、使用Sqoop抽取数据我负责的一个安全数据分析的一个产品:每日从mysql数据库中定时导入大数据中(hive、hdfs)中使用就是Sqoop的高效传输能力Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。原创 2017-02-09 16:37:27 · 465 阅读 · 0 评论 -
利用Sqoop从MySQL数据源向Hive中导入数据
1、执行导入的操作命令:在Sqoop的安装目录下bin目录下执行命令sqoop import --driver com.mysql.jdbc.Driver--connect jdbc:mysql://数据库主机ip:3306/数据库名?useUnicode=true&characterEncoding=utf-8 --username root--password 密码 --hive-原创 2017-07-19 15:30:44 · 548 阅读 · 0 评论 -
hive表信息查询:查看表结构、表操作等
1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table_coulm from table_name where转载 2017-07-20 13:58:47 · 769 阅读 · 0 评论 -
修改hdfs上的文件所属用户、所属组等读写执行控制权限
HDFS支持权限控制,但支持较弱。HDFS的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组:sudo addgroup Hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/原创 2017-07-20 09:00:01 · 49104 阅读 · 0 评论 -
sqoop 导入mysql数据到hive中,把start_time截取‘天’生成一个新的时间分区字段,按天分区存储
需求:1、测试数据结构id bigint ,src_ipv4 bigint ,src_port int ,dst_ipv4 bigint ,dst_port int ,protocol int ,start_time string ,end_time string ,receive_time string2、start_time 如2018-08-24 10:18:37,使用spli...原创 2018-08-28 09:35:28 · 1414 阅读 · 0 评论