- 博客(5)
- 收藏
- 关注
原创 spark HA
spark HAspark-2.4.0-bin-hadoop2.7.tgzvim spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER "export SPARK_DAEMON_JAVA_OPTS="${SPARK_DAEMON_JAVA_OPTS} -Dspark.deploy.z...
2019-05-06 11:49:45 216
原创 网上租房数据的爬取与分析
主要介绍租房书爬取与分析过程中用到的相关技术,爬虫所用开发语言为python,开发环境anaconda,用beautifulsoup解析网页,数据处理numpy,可视化展示matplotlib,所用数据库为mangodb。一.数据爬取构造URLbaseurl:https://sh.zu.fang.com/各地区对应编码构造URLurlDir = { #"不限": ...
2019-05-06 11:37:38 2109
原创 hbase HA
hbase HAhbase配置hbase-env.shexport JAVA_HOME=/usr/java/#保存pid文件export HBASE_PID_DIR=/usr/hbase/pids#修改HBASE_MANAGES_ZK,禁用HBase自带的Zookeeper,因为我们是使用独立的Zookeeperexport HBASE_MANAGES_ZK=falsej...
2019-05-01 18:55:34 179
原创 yarn HA
yarn HAyarn-site.xml<configuration><!-- Site specific YARN configuration properties --> <!-- 启用HA高可用性 --> <property> <name>yarn.resourcemanager.ha.enabled&l...
2019-05-01 01:13:55 138
原创 hadoop HA
hadoop HA 搭建hadoop-2.7.7 + zookeeper-3.4.12阿里云服务器三节点zookeeper 配置zoo.cfgdataDir=/usr/zookeeper/data/zkDataserver.1=Arvin01:2888:3888server.2=Arvin02:2888:3888server.3=hds:2888:3888makdir /u...
2019-05-01 00:12:39 204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人