dengqian2095-CSDN博客

转载 HBASE CREATE 命令解析

create 'NewsClickFeedback',{NAME=>'Toutiao',VERSIONS=>3,BLOCKCACHE=>true,BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY',TTL => ' 259200 '},{SPLITS => ['1','2','3','4','5','6','...

2018-04-26 12:46:00 594

转载 Spark依赖包冲突解决

背景：公司选用Apache Beam 用于大数据程序开发; Apache Beam 提供了一系列通用的JAVA API, 通用是指使用Apache Beam开发的程序，可以在不对代码做任何修改的情况下运行在当下流行的计算框架上，如SPARK, FLINK...Beam的程序运行在Spark, 需要依赖Spark,Hadoop 甚至kafka的一些JAR包。如果Beam的程序打成一个fat...

2018-02-12 11:16:00 1663

转载 git 常用命令

总是忘记一些命令， mark一下1. 列出远程分支， git branch -a* master remotes/origin/HEAD -> origin/master remotes/origin/ms2.52. 切换远程分支，同时在本地创建为ms2.5分支，并切换到本地的ms2.5分支git checkout -b ms2.5 remotes/origi...

2018-02-09 10:43:00 87

转载 spark 笔记

1. 打印spark-submit 加载的jar包--conf "spark.driver.extraJavaOptions=-XX:+TraceClassLoading“未完待续...转载于:https://www.cnblogs.com/robynn/p/8365139.html

2018-01-27 10:39:00 115

转载如何在Yaml文件引用其他Yaml文件(使用python Pyyaml)

背景：项目中有多个测试用例，测试用例使用yaml的配置文件，各个测试用例的yaml配置文件中有一些共有的属性，把这些共有的属性抽取出来放在一个yaml文件中，问题来了：如何在测试用例的Yaml文件引用这些共享的Yaml文件：测试用例的yaml文件：document.ymllanguages: - Ruby - Perl - Pythonwebsites: YAM...

2018-01-09 21:28:00 6568

转载 pip笔记

1. 清华大学源：https://pypi.tuna.tsinghua.edu.cn/simple示例： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package2. 导出python package 列表： pip freeze > requirements.txt3. 根据requ...

2018-01-04 15:18:00 84

转载 Hadoop Yarn的磁盘检测

背景：最近在公司的测试服务器上做性能测试， Spark Streaming Job，总是运行一段时间之后就挂掉了。看日志似乎是HDFS出现了问题，数据写不进去了。但是看了看每台服务器的硬盘，明明都还有空间，最少的都有80%。不管三七二十一，先清一清数据，把程序启动起来继续跑，并配置了crontab，定时清理磁盘上的日志和临时文件。当时的预感是YARN上有某种磁盘保护措施，当...

2017-12-30 10:59:00 329

转载如何清除Kafka Topic数据

log.retention.{ms,minutes,hours}: Kafka segment log的保存周期, 默认保存7天1. 把retention.ms 改小，如1000ms, 即1分钟./kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --alter --add-config r...

2017-11-23 11:16:00 593

转载 Centos 6.6, 64-bit 安装scrapy

1.安装依赖包，yum install libxml2-devel openssl libxslt-devel python-devel libffi-devel2.pip install lxml3.安装Twisted:从官网下载源码： wget https://pypi.python.org/packages/source/T/Twisted/Twist...

2015-11-30 21:53:00 53