![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
白开水v5
这个作者很懒,什么都没留下…
展开
-
Spark Streaming集成kafka和redis简单示例 - Java版
pom.xml中添加依赖:<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming --><dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-strea...原创 2018-06-29 15:47:27 · 1649 阅读 · 0 评论 -
大数据-spark、hadoop、hbase错误汇总
1. Name node is in safe mode# 强制离开安全模式hadoop dfsadmin -safemode leave参数value的说明如下:enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待,一直到安全模式结束。2. spark thrift mysql:...原创 2018-05-10 16:22:02 · 1229 阅读 · 0 评论 -
安装spark on yarn - CentOS6大数据套件HA安装(4)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装 spark解压tar -xzvf /usr/local/soft/spark-2.2.1-bin-hadoop2.7.tgz -C /hadoo配置 spark-env.s...原创 2018-05-18 14:11:37 · 204 阅读 · 0 评论 -
sparkSQL自定义聚合函数(UDAF)实现bitmap函数
创建测试表使用phoenix在HBase中创建测试表,字段使用VARBINARY类型CREATE TABLE IF NOT EXISTS test_binary (date VARCHAR NOT NULL,dist_mem VARBINARY CONSTRAINT test_binary_pk PRIMARY KEY (date) ) SALT_BUCKETS=6; 创建完...原创 2018-07-30 11:33:43 · 2741 阅读 · 7 评论 -
spark通过phoenix读写hbase(Java版)
pom.xml <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spar...原创 2018-08-06 18:00:16 · 5843 阅读 · 3 评论 -
CDH6.2配置spark.yarn.jars目录
按照官网的文档采用以下操作即可:进入CM界面 选择spark服务 配置 搜索spark-defaults.conf 添加spark.yarn.jars=hdfs://ns1/user/spark/jars 部署客户端并重启但实际重启后发现节点上的配置文件依然是默认属性,没有分发覆盖,具体还没找到解决办法。暂时采用软链的方式,如果不得已在CM界面修改了配置并部署,则需要重新创建软链...原创 2019-08-26 17:50:58 · 1775 阅读 · 1 评论 -
CDH在yarn上运行程序乱码
安装完成CDH后,在yarn上不管是使用hive运行mapreduce还是spark,中文全都会乱码。1. linux的环境变量设置字符集vi /etc/profileexport LANG=zh_CN.UTF-82. 修改mapreduce的环境变量hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=...原创 2019-08-26 17:53:46 · 4288 阅读 · 9 评论