- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark HA
spark HAspark-2.4.0-bin-hadoop2.7.tgzvim spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER "export SPARK_DAEMON_JAVA_OPTS="${SPARK_DAEMON_JAVA_OPTS} -Dspark.deploy.z...
2019-05-06 11:49:45
200
原创 网上租房数据的爬取与分析
主要介绍租房书爬取与分析过程中用到的相关技术，爬虫所用开发语言为python，开发环境anaconda,用beautifulsoup解析网页，数据处理numpy，可视化展示matplotlib，所用数据库为mangodb。一.数据爬取构造URLbaseurl:https://sh.zu.fang.com/各地区对应编码构造URLurlDir = { #"不限": ...
2019-05-06 11:37:38
2055
原创 hbase HA
hbase HAhbase配置hbase-env.shexport JAVA_HOME=/usr/java/#保存pid文件export HBASE_PID_DIR=/usr/hbase/pids#修改HBASE_MANAGES_ZK，禁用HBase自带的Zookeeper，因为我们是使用独立的Zookeeperexport HBASE_MANAGES_ZK=falsej...
2019-05-01 18:55:34
155
原创 yarn HA
yarn HAyarn-site.xml<configuration><!-- Site specific YARN configuration properties --> <!-- 启用HA高可用性 --> <property> <name>yarn.resourcemanager.ha.enabled&l...
2019-05-01 01:13:55
121
原创 hadoop HA
hadoop HA 搭建hadoop-2.7.7 + zookeeper-3.4.12阿里云服务器三节点zookeeper 配置zoo.cfgdataDir=/usr/zookeeper/data/zkDataserver.1=Arvin01:2888:3888server.2=Arvin02:2888:3888server.3=hds:2888:3888makdir /u...
2019-05-01 00:12:39
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人