大数据
nannan1232
这个作者很懒,什么都没留下…
展开
-
MongoDB迁移数据到hive
1、从MongoDB中导出csv文件;mongoexport --host 172.16.177.214 --port 27017 --db monitor_center_backup --collection 'city' --type csv --fields _id,city_name,prov_id --out /home/ljn/mongodb_file/city.csv2、hive中创建表结构CREATE EXTERNAL TABLE `city`(`_id` int,`city_n原创 2021-10-16 09:31:13 · 409 阅读 · 0 评论 -
ERROR: Can't get master address from ZooKeeper; znode data == null
1、CDH版本:5.7.12、OS:redhat6.73、hbase报错:4、解决方案:找到leader,进入zookeeper:cd /opt/cloudera/parcels/CDH/lib/zookeeper/bin查看zk的hbase是否有master: ls /hbase停止hbase,删除zk下面的hbase,启动hbase如果还是报错,...原创 2019-07-05 10:58:02 · 9852 阅读 · 4 评论 -
CDF中NFS GateWay报错
1、CDH版本:5.11.12、os:centOS7.43、问题如下:4、解决方法:查看rpcbind服务:systemctl status rpcbind.service启动rpcbind服务:systemctl start rpcbind.service查看 ntp服务:systemctl status nfs启动ntp服务:systemctl s...原创 2019-07-05 10:46:20 · 196 阅读 · 0 评论 -
CDH中virbr0-nic 问题
1、cdh版本:5.11.12、os:centos7.43、报错内容:4、解决方案:查看:[root@Node1 ~]# ip -4 addr //查看IP地址1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 inet 127.0.0.1/8 sc...原创 2019-07-05 10:41:23 · 3727 阅读 · 1 评论 -
jdbc操作impala
1、集群:CDH-5.7.52、impala下载jar地址:https://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html下载需要用户注册cloudera账户邮箱电话等,随便注册一下就可以了。。。 下载的是一个zip包:impala_jdbc_2.5.36.2056.zip3、Client代...原创 2019-04-16 10:55:29 · 1611 阅读 · 0 评论 -
用jdbc连接hive
说明:集群是cdh5.7.51、maven的配置:<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <sco...原创 2019-04-11 19:13:21 · 421 阅读 · 0 评论 -
java写kafka的生产者与消费者代码
kafka、producer、consumer原创 2017-08-15 18:37:22 · 6134 阅读 · 0 评论 -
hplsql安装说明
hplsql版本:hplsql-0.3.17.tar.gz1、解压安装到根目录下:tar -zxvf hplsql-0.3.17.tar.gz -c / 2、配置环境变量(vim /etc/profile): export PATH=$PATH:/hplsql/hplsql-0.3.17 source /etc/profi...原创 2017-06-09 10:58:27 · 1273 阅读 · 0 评论 -
Cloudera Manager的搭建及hadoop组件的安装
一、准备工作: 系统环境:redhat6.7企业版, cm版本:cloudera-manager-el6-cm5.7.1_x86_64.tar.gz cdh版本:CDH-5.7.1-1.cdh5.7.1.p0.11-el6 a、修改主机名: 操作命令:vim /etc/sysconfig/network (例如:HOSTNAME= master,每...原创 2017-06-06 17:57:33 · 885 阅读 · 0 评论 -
解决cli查看hive字段不全问题
hive、 字段缺失原创 2017-03-25 13:45:19 · 2166 阅读 · 0 评论 -
从hive往hbase导数据
hive、hbase原创 2017-03-24 18:03:18 · 609 阅读 · 0 评论 -
sqoop1,将sqlserver导入hbase
sqoop1、hbase、sqlserver原创 2017-03-24 17:59:20 · 1020 阅读 · 0 评论 -
使用sqoop1,将sqlserver数据导入hive
sqoop、hive、sqlserver原创 2017-03-24 17:54:42 · 2298 阅读 · 0 评论 -
使用sqoop1将hive导入mysql
sqoop1、hive 、mysql原创 2017-03-24 17:50:23 · 806 阅读 · 0 评论 -
删除hive表的脚本
hive 删除表原创 2017-03-24 17:35:34 · 1109 阅读 · 0 评论