- 博客(6)
- 收藏
- 关注
RSS订阅原创 关于Cassandra网络配置那点事儿
最近公司引入Cassandra集群上生产环境，在测试环境下运行稳定，到了线上出了很多问题。主要问题： 1.各个节点间的通信及数据同步会占用大量的网络带宽，建议将各节点的通信设置成内网IP，不占用公网资源。 2. 外网客户连接集群推荐将rpc_address设置为0.0.0.0同时将broadcast_rpc_address的注释去掉，然后设置为公网IP。 3.各个节点的端口号必须统一，各节点...
2020-01-20 11:02:23
815
原创 crateDB version：3.3.0 集群化搭建
本文使用crateDB version：3.3.0，如果是4.0.0以上版本请，查看官方文档修改不兼容的配置。官方文档地址： https://crate.io/docs/crate/guide/en/latest/scaling/multi-node-setup.html 测试集群为三台服务器，IP分别为192.168.1.107，192.168.1.108，192.168.1.109 ...
2019-08-07 17:25:08
384
原创 java反射获取集合类的泛型
开门见山直接放代码 Field field; clazzField = field.getType(); if (clazzField == Map.class) { parameterizedType = (ParameterizedType)field.getGenericType(); Class key = (Class) parameterizedType.get...
2018-10-24 14:34:37
1594
转载 使用Java代码，远程提交spark任务到spark集群上面
在网上查阅了很多资料，主要参考了以下两位大神的博客https://blog.csdn.net/gx304419380/article/details/79361645https://blog.csdn.net/fansy1990/article/details/78551986写了一个小demo。首先spark jar要上传至hdfs中。pom文件中只需要依赖<dependency> ...
2018-06-26 09:24:01
8594
5
原创 运用spark读取hive表的数据大批量导入Hbase
首先需要将集群上的hdfs-site.xml与hive-site.xml拷贝到resources目录下。开发spark程序推荐使用IDEA，能够事半功倍。缩短你的开发时间。scala代码需要放在下面的scala目录里。新建的项目没有这个文件夹需要自己创建，然后选中文件夹右键利用菜单把它变成sourcesRoot。pom文件中主要的依赖及打包工具<properties> ...
2018-06-11 10:29:07
5570
6
原创 hive执行任务报错Execution failed with exit status 3
解决方法：在hive中执行下面两个命令set hive.auto.convert.join=false;关闭自动转化MapJoin，默认为true;set hive.ignore.mapjoin.hint=false; 关闭忽略mapjoin的hints（不忽略，hints有效），默认为true(忽略hints)。...
2018-05-18 14:36:49
876
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人