![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
白开水v5
这个作者很懒,什么都没留下…
展开
-
大数据-spark、hadoop、hbase错误汇总
1. Name node is in safe mode# 强制离开安全模式hadoop dfsadmin -safemode leave参数value的说明如下:enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待,一直到安全模式结束。2. spark thrift mysql:...原创 2018-05-10 16:22:02 · 1229 阅读 · 0 评论 -
sqoop从mysql到hive实现定时增量导入
整理自网络,其中有自己遇到的问题及解决方法。1.第一次全量抽取,并创建hive表sqoop import --connect jdbc:mysql://localhost:3306/test --username xxx --password xxx --direct --fields-terminated-by '\t' --target-dir /data/sqoop/shop -...原创 2018-10-11 11:22:09 · 5020 阅读 · 3 评论 -
hive内部表外部表的创建及load数据
内部表创建hive内部表create table test_01(id bigint, name string ) row format delimited fields terminated by ',';默认记录和字段分隔符:\n 每行一条记录^A 分隔列(八进制 \001)^B 分隔ARRAY或者STRUCT中的元素,或者MAP中多个键值对之间分隔...原创 2018-10-09 14:43:50 · 5693 阅读 · 0 评论 -
Hive三种建表语句详解
转载自:https://blog.csdn.net/qq_36743482/article/details/78383964注:hive其他语法在hive官网有说明,建议初学者,去官网学习一手的资料,官网:https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationCreate Table...转载 2018-10-09 14:59:17 · 6380 阅读 · 0 评论 -
Sqoop常用命令及参数说明
转载自:https://www.aliyun.com/jiaocheng/1106363.html列出mysql数据库中的所有数据库中的test数据库sqoop list-databases --connect jdbc:mysql://localhost:3306/test -usernametest -passwordtest连接mysql并列出数据库中的表sqoop lis...转载 2018-10-09 17:53:07 · 1810 阅读 · 0 评论 -
Hive集成HBase详解
转载自:https://www.cnblogs.com/MOBIN/p/5704001.html1.从Hive中创建HBase表使用HQL语句创建一个指向HBase的Hive表CREATE TABLE hbase_table_1(key int, value string) //Hive中的表名hbase_table_1STORED BY 'org.apache.hadoop.hi...转载 2018-10-16 15:42:42 · 176 阅读 · 0 评论 -
Hive添加删除修改字段
官方文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Add/ReplaceColumns添加删除字段语法:ALTER TABLE table_name [PARTITION partition_spec] -- (No...原创 2018-10-19 14:25:44 · 46955 阅读 · 2 评论 -
Hive启用hiveserver2(JDBC)
使用zk配置为HA高可用修改hive-site.xml配置文件:增加以下配置<property> <name>hive.zookeeper.quorum</name> <value>172.x.x.x:2181,172.x.x.x:2181,172.x.x.x:2181</value></property...原创 2018-10-19 14:46:16 · 1216 阅读 · 0 评论 -
hive操作分区表
创建分区表对于分区表,不管是内部还是外部,都需要通过load或者alter table xxx add partition注册有分区信息才能查询。对于直接通过hdfs创建对应的分区目录及写入数据,在hive中查询不到数据。如果hive中已有某分区,直接通过hdfs在该分区目录写入数据文件,则能通过hive直接查询到新写入的数据。create EXTERNAL table test_02...原创 2018-10-10 15:04:48 · 304 阅读 · 0 评论 -
spark通过phoenix读写hbase(Java版)
pom.xml <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spar...原创 2018-08-06 18:00:16 · 5843 阅读 · 3 评论 -
sparkSQL自定义聚合函数(UDAF)实现bitmap函数
创建测试表使用phoenix在HBase中创建测试表,字段使用VARBINARY类型CREATE TABLE IF NOT EXISTS test_binary (date VARCHAR NOT NULL,dist_mem VARBINARY CONSTRAINT test_binary_pk PRIMARY KEY (date) ) SALT_BUCKETS=6; 创建完...原创 2018-07-30 11:33:43 · 2741 阅读 · 7 评论 -
统一环境配置 - CentOS6大数据套件HA安装(1)
软件版本jdk-8u172-linux-x64.rpm scala-2.12.5.tgz zookeeper.tar.gz hadoop-2.7.6.tar.gz spark-2.2.1-bin-hadoop2.7.tgz hbase-1.2.6-bin.tar.gz apache-phoenix-4.13.1-HBase-1.2-bin.tar.gz服务器规划...原创 2018-05-18 14:05:59 · 237 阅读 · 0 评论 -
安装zookeeper - CentOS6大数据套件HA安装(2)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装zookeeper解压tar -xzvf /usr/local/soft/zookeeper.tar.gz -C /hadoop创建data目录mkdir /hadoop/zo...原创 2018-05-18 14:08:34 · 122 阅读 · 0 评论 -
安装hadoop - CentOS6大数据套件HA安装(3)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装hadoop解压tar -xzvf /usr/local/soft/hadoop-2.7.6.tar.gz -C /hadoop/创建tmp、journal目录mkdir /h...原创 2018-05-18 14:10:24 · 278 阅读 · 0 评论 -
安装spark on yarn - CentOS6大数据套件HA安装(4)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装 spark解压tar -xzvf /usr/local/soft/spark-2.2.1-bin-hadoop2.7.tgz -C /hadoo配置 spark-env.s...原创 2018-05-18 14:11:37 · 204 阅读 · 0 评论 -
安装hbase phoenix - CentOS6大数据套件HA安装(5)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装 phoenix解压tar -xzvf /usr/local/soft/apache-phoenix-4.13.1-HBase-1.2-bin.tar.gz -C /hadoopmv ...原创 2018-05-18 14:12:36 · 226 阅读 · 0 评论 -
启动总结 - CentOS6大数据套件HA安装(6)
切换账户su hadoopcd /hadoop启动 zookeeper# 分别启动节点:hadoop101 hadoop102 hadoop103./zookeeper/bin/zkServer.sh start启动 HDFS# 在manager202上执行./hadoop-2.7.6/sbin/start-dfs.sh启动 YARN# 在manager20...原创 2018-05-18 14:13:19 · 142 阅读 · 0 评论 -
Spark Streaming集成kafka和redis简单示例 - Java版
pom.xml中添加依赖:<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming --><dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-strea...原创 2018-06-29 15:47:27 · 1649 阅读 · 0 评论 -
使用linux脚本shell检查大数据各节点服务是否运行正常
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常,包括:zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。注意修改成自己的集群节点名称及kafka版本#!/bin/bash# 定义机器名前缀HN_PREFIX="hadoop.test"KFK_NAME="kafka_2.12-1.1.0"# 各...原创 2018-12-27 16:27:47 · 964 阅读 · 0 评论