- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 GREENPLUM配置HDFS外部表
下面是已GREENPLUM 5.8为例1.在所有Segment上设置环境变量vim ~gpadmin/.bash_profileexport JAVA_HOME=/usr/java/defaultexport HADOOP_HOME=/usr/hadoopPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$H...
2018-08-25 17:55:46
1447
原创 spark.streaming.kafka.maxRatePerPartition计算规则
spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的，一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。如例要10分钟的吞吐量控制在5000,0000，kafka分区是10个。spark.streaming.kafka.maxRatePerPartition=8400...
2018-08-03 11:59:11
11324
原创 记一次使用SPARK生成自增ID的解决方案
在这个项目中遇到的一个问题，由于数据库使用的是GREENPLUM，GREENPLUM提供的SPARK驱动是使用的先生成外部表，然后在使用INSERT 表名 SELECT * FROM 外部表的方式方法导入数据的。并且这种方式不支持自增ID。于是我们开始尝试使用SPARK或其他方式生成ID。1、使用REDIS生成自增ID。优点：使用REDIS的INCNY实现自增，并且没有并发问题，REDIS...
2018-08-03 11:23:13
7863
原创 在做词云练习时遇到FutureWarning: using a dict on a Series for aggregation is deprecated and will be removed问题
在做词云练习时遇到FutureWarning: using a dict on a Series for aggregationis deprecated and will be removed in a future version word_stat = word_df.groupby(by=['segment'])['segment'].agg({"计数": np.size})报错，...
2018-08-02 22:36:37
5646
8
原创 SPARK ON YARN 配置 history server
今天在单位搭建SPARK ON YARN时，发现 yarn里的history不好用。于是开始搭建。这里记录一下遇到的一些问题。首先，如果你的yarn-site.xml 里面用的是主机名配置。一定要在本地。WINDOWS下的host把你的主机名配上。因为这个原因，浪费了好多时间。二、如果想用spark on yarn模式，并且要查看history的话，一定要在yarn-site.xml里配置如下： ...
2018-06-25 22:33:29
5246
1
原创 Zookeeper学习笔记
Zookeeper简介Zookeeper是一个开源的，针对大型分布式系统的可靠协调系统。提供的功能包括：发布/订阅、分布式协调\通知、配置管理、集群管理、主从协调、分布式锁等。Zookeeper的特性1、最终一致性 保证最终数据能够达到一致，是zookeeper的最重要功能。2、顺序性 从同一客户端发起的事务请求，最终会严格地按照其发送顺序被应用到zookeeper中。3、可靠性 一旦服...
2018-06-09 15:07:53
251
原创 大数据学习笔记01-虚拟机环境准备
一、安装CENTOS及配置网络使用VMWARE虚拟机安装CENTOS7，安装过程不在叙述，这里主要是要使用NAT方式。然后配置网络。1、网络配置IP根据NAT里面的配置，进行配置。这里有两个地方，一个是本机的网络管理里VMnet8网卡虚拟机网卡设置点虚拟机菜单<编辑>-虚拟网络编辑器vim /etc/sysconfig/network-script/ifcfg-ens33修改以下几项B...
2018-04-29 14:19:39
264
原创 linux下caffe环境搭建
我用的是linux mint 18.2 64位，因为是虚拟机安装，所以只能用CPU。因为我的linux mint18.2是基于ubuntu16.04版本的所以按官方文档安装说明http://caffe.berkeleyvision.org/install_apt.html点击打开链接，里面的<17.04进行安装。sudo apt-get install libprotobuf-dev lib...
2018-03-05 10:10:33
3971
原创 Spring下的策略模式的实现
在网上看到许多策略模式的实现，使用JAVA原生的比较多，也有一部分是使用Spring配置文件实现的。使用注释的比较少。所以我也就准备写一篇使用注释的文章。下面是UMLStrategy的代码实现public interface Strategy { public String action();}PrintStrategy的代码实现@Component("pr
2018-01-15 23:36:28
3186
4
原创 OpenCV3.3+Linux+eclipse安装配置
最近准备使用OpenCV进行图片识别，所以开始学习一下OPENCV。因为在linux下开发比较实用，所以就开始了在linux下的安装之路。我这里使用的Linux版本是Linuxmint 18.9。应该是比较新的了。它是基于Ubuntu的内核。开始安装前，一定要执行一下//软件源更新sudo apt-get update //升级本地所有安装包sudo apt-get up
2018-01-15 22:46:23
727
Rup+最佳实践电子书
2009-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人