- 博客(117)
- 收藏
- 关注
RSS订阅原创 zookeeper学习笔记（二）
在[url="http://zhenggm.iteye.com/blog/2324299"]zookeeper学习笔记（一）[/url]中记录了zookeeper相关概念，这一篇是使用zookeeper开发。 [b]一、安装[/b]zookeeper的安装参考 [url="http://zhenggm.iteye.com/blog/2423410"]Kafka学习笔记【二】-安装[/u...
2018-09-06 19:14:26
164
原创 spark学习笔记【一】- 搭建spark开发环境【原创】
在去年写完[url="http://zhenggm.iteye.com/blog/2367614"]大数据学习笔记（七）-运行spark脚本【原创】[/url]之后，由于工作比较忙，且大数据在负责的项目中一时用不上，所以没有继续学习。 这一篇是新的开始，主要学习使用spark的进行开发。 spark的源码是scala写的，scala是与Java很像的一种语言，也是基于j...
2018-08-07 17:04:11
182
原创 Kafka学习笔记【三】-JAVA调用示例
1. pom.xml[code="xml"] org.apache.kafka kafka-clients 1.1.0[/code]2. TestProducer.java[code="java"]package cn.gov.zjport.demo.kafka;import java.util.Properties;i...
2018-05-29 08:35:41
170
原创 Kafka学习笔记【二】-安装
kafka的安装如下：一、准备环境1) 三台服务器 server1:192.168.3.9（L-AP-3-9） server2:192.168.3.10（L-AP-3-10） server3:192.168.3.18（L-AP-3-18）2）下载[url="http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2...
2018-05-24 08:20:56
152
原创 Kafka学习笔记【一】-原理
一、kafka的重要概念[img]http://dl2.iteye.com/upload/attachment/0129/8524/54960e7a-89c9-38c5-ae37-e67b89baa1fb.jpg[/img]1. kafka 分为 Producer、Consumer、Broker，基于topic发布与订阅消息。2. 一个topic可以分多个partition,每个par...
2018-05-18 09:23:58
188
原创 rabbitMQ学习笔记【三】-haproxy部署 原创
一、下载 https://fossies.org/linux/misc/haproxy-1.8.5.tar.gz二、安装 cd /usr/local tar -zxvf haproxy-1.8.5.tar.gz cd haproxy-1.8.5 make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/local/h...
2018-04-11 16:11:29
106
原创 rabbitMQ学习笔记【二】-集群部署 原创
一、准备工作 三台机器hosts： 192.168.3.18 L-AP-3-18 #主节点 192.168.3.10 L-AP-3-10 #从节点 192.168.3.9 L-AP-3-9 #从节点 关闭防火墙: service iptables stop 按照 [url="htt...
2018-04-03 19:40:57
98
原创 rabbitMQ学习笔记【一】-单机部署 原创
公司对外接入需要支持MQ，最终选定rabbitMQ.本文介绍rocketMQ的安装。一、下载 [url="http://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el6.x86_64.rpm"]erlang[/url] [url="http://www.rabbitmq.com/releases/rabbitm...
2018-03-19 16:04:06
106
原创 Redis 学习笔记(四) 【原创】
最近准备基于spring-data-redis封装公司访问缓存的框架包，发现几个比较严重的问题。1. 对于scan等高级方法支持较弱 如果要实现scan方法，那么需要调用redisTemplate.execute(RedisCallBack)方法。[code="java"]List list=redisTemplate.execute(new RedisCallback() {...
2018-01-22 19:31:15
138
原创 python 学习笔记【二】【原创】
一、读取配置#config.ini[code="ini"][server]interfaceURI = http://localhost:8080/dub/downloadURI = http://127.0.0.1:7056/data/saveDir = D:/temp/singlewindow/data/agentCode = 3122263935[/code]...
2018-01-16 20:15:13
98
原创 python 学习笔记【一】【原创】
[b]一：安装环境[/b]下载并安装[url="https://www.python.org/ftp/python/3.6.4/python-3.6.4-amd64.exe"]python-3.6.4-amd64.exe[/url][url="https://download.jetbrains.8686c.com/python/pycharm-community-2017.3.2.e...
2018-01-14 17:40:45
147
原创 Redis 学习笔记(三) 【原创】
在[url="http://zhenggm.iteye.com/blog/2406609"]Redis 学习笔记(二)[/url]中，已经介绍了sentinel+redis的高可用方案部署，本文基于spring-data-redis访问sentinel+redis服务。1. pom.xml[code="xml"] 4.0.0 cn.gov.zjport.demo.red...
2018-01-08 18:24:44
110
原创 Redis 学习笔记(二)【原创】
公司引入redis服务已经有两年多时间了，目前已经很有很多项目在使用，并且一直很稳定，日常客户端链接数维持在2k左右。由于原先只做了主从，没有做failover，随着项目的增多，存在一定的安全隐患，因此最近腾出时间研究redis服务升级。目前可选的方案：1）sentinel集群 + redis主从2）redis cluster两种方案的区别：1）sentinel集群 + red...
2018-01-04 11:52:06
670
原创 ELK学习笔记(六)【原创】
在 [url="http://zhenggm.iteye.com/blog/2370720"]ELK学习笔记(四)【原创】[/url] 中，我们介绍了使用log4j通过tcp输入日志到logstash的方法。这种方法对于推广初期比较好用，因为使用比较简单，但是有个问题，就是当压力增大时，会出现 java.net.SocketException: Broken pipe的问题。同时官网也提示log4...
2017-12-20 08:26:52
147
原创 linux 命令贴
没装telnet，检测机器端口nc -vz 192.168.3.18 2181查看虚拟机CPU核数cat /proc/cpuinfo| grep "processor"| wc -l查找进程对应的执行文件ps aux | grep 4874查找进程命令位置ll /proc/4874添加定时任务crontab -e#每天两点执行tarfile.sh命令...
2017-10-19 08:27:26
91
原创 spring+websocket整合学习笔记
传统的B/S通讯方式都是基于客户端主动请求，服务端响应结果。有了websocket技术之后，就可以实现服务端主动向客户端推送数据了。因为websocket是html5的技术，需要支持html5的浏览器，以下例子我使用的是ie11和chrome61，均可以测试通过。以下是集成spring的websocket例子：[b]1. pom.xml[/b][code="xml"] ...
2017-10-08 19:34:41
104
原创 Git学习笔记【原创】
Git是源码管理工具，与svn比较类似。只是svn一般用于企业内部，管理闭源的项目比较多。Git主要基于互联网的中央库管理，因此使用在开源的场景比较多，当然也可以管理私有的项目。如github，对public的项目代码管理是免费的，也支持private的项目，但是是收费的。oschina也提供了git代码管理，public和private都是免费的。[b]1. git的客户端安装[/b]1...
2017-10-05 21:41:13
98
原创 HttpClient 学习笔记【原创】
HttpClient 某些方法的作用梳理。本文的测试基于httpcore-4.3.3.jar,httpclient-4.3.6.jar.[code="java"]CloseableHttpClient httpClient =HttpClients.createDefault();[/code] 创建一个httpClient, 使用默认连接池。当多个线程使用同一个httpClient,...
2017-09-07 19:28:13
150
原创 JVM学习笔记【原创】
JVM 堆分为 年轻代，年老代，持久代。年轻代：产生和回收对象的区域，分为1个Eden和2个Survivor(from 和 to)。年老代：生命周期较长的对象持久代：类、方法等JVM GC 机制1. 对象总是产生于Eden.2. 当Eden满时触发GC，将存活的对象复制到其中一个Survivor(from).将不存活的对象回收。3. 当Survivor(from)满...
2017-06-08 14:49:04
80
原创 ELK学习笔记(五)【原创】
前几篇介绍了logstash, elasticsearch相关内容见[url=http://zhenggm.iteye.com/blog/2302911]elasticsearch 学习笔记[/url]。本文介绍kibana的使用。1) 导入索引内容[img]http://dl2.iteye.com/upload/attachment/0124/5326/3245e1a1-223d-3d2...
2017-04-24 19:59:41
103
原创 ELK学习笔记(四)【原创】
经过前面一些配置，目前基本可以用于项目中了。但是在初期推广的时候，如果每个应用都要去装个客户端，工作量比较大，推广工作就比较难做。还有一种简便的方式就是通过log4j远程采集了。（下面这张图是网上抄的）[img]http://dl2.iteye.com/upload/attachment/0124/4958/c1debf00-911b-3f44-b120-6443f0bb9eb6.pn...
2017-04-21 18:57:42
104
原创 ELK学习笔记(三)【原创】
logstash 采集日志很方便，还有一个强大的功能，就是能够发送email提醒，这就对我们的日志监控很有帮助。有了它，我们能够实时发现线上系统的运行状态。本文介绍日志插件的安装和使用。[b]1. 下载插件[/b] [url=https://codeload.github.com/logstash-plugins/logstash-output-email/tar.gz/v4.0.3]logs...
2017-04-20 16:48:15
122
原创 ELK学习笔记(二)【原创】
在[url=http://zhenggm.iteye.com/admin/blogs/2336814]ELK学习笔记(一)【原创】[/url]中，介绍了Logstash的入门，本文再对Logstash进行分析，并将日志导入ES中。[b]1. input[/b] input 有很多种， 如stdin, file, log4j 等。这里只着重分析file, 下次在分析log4j. ...
2017-04-19 18:55:27
126
原创 大数据学习笔记（七）-运行spark脚本【原创】
在启动了hadoop 和 spark之后，就可以运行spark 脚本环境，在其上可以运行scala脚本。1. cd $SPARK_HOME/bin2. master=spark://master.hadoop.zjportdns.gov.cn ./spark-shell然后就可以运行脚本了[code="java"] scala> val a = sc.parall...
2017-04-06 14:36:29
174
原创 大数据学习笔记（六）-spark streaming demo 运行【原创】
1. 打开一个终端， 输入[code="java"]nc -lk 9999[/code]2. 打开另一个终端，切换到SPARK＿HOME目录，运行[code="java"]cd /usr/local/spark-2.1.0-bin-hadoop2.7./bin/run-example org.apache.spark.examples.streaming.NetworkWord...
2017-02-23 08:30:50
160
原创 大数据学习笔记（五）-spark demo 运行【原创】
spark 有四种运行模式：1）local模式(单机模式）2）standalone模式（伪分布模式）3）yarn-client模式（driver运行在客户端，可通过4040端口查看客户端运行状态,client全程参与调度）4）yarn-cluster模式（driver运行在服务端，需通过yarn-cluster的8088端口查看,client在提交完job之后就可以关闭了）...
2017-02-21 19:54:39
248
原创 大数据学习笔记（四）-spark 安装【原创】
spark有三种部署方式:standalone,spark on mesos 和 spark on yarn. standalone用于开发; spark on mesos官方推荐, mesos调度更强大; 如何同时使用hadoop, 那么spark on yarn兼容更好。本文是在介绍第三种方式，需要先[url=http://zhenggm.iteye.com/blog/2358071]安装ha...
2017-02-21 16:16:13
264
原创 大数据学习笔记（三）-hadoop demo 运行【原创】
1. 创建两个文本文件，作为测试数据mkdir -p /home/zhenggm/inputcd /home/zhenggm/inputecho "hello hadoop bye hadoop" > f1echo "hello hadoop bye hadoop" > f22. 创建hdfs目录hadoop fs -mkdir -p /tmp/input3. ...
2017-02-20 20:02:45
106
原创 大数据学习笔记（二）-hadoop安装【原创】
Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。其中NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。一、准备工作 ...
2017-02-20 16:29:07
123
原创 大数据学习笔记(一)【原创】
新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这里先把一些技术的理解记一下：1.hadoop 我的理解是一个大数据处理框架，包括了hdfs, hbase, yarn, hive, zookeeper等一堆技术，其中的处理算法是MapReduce.2.hdfs 是海量分布式文件系统，一般hadoop批量任务...
2017-02-10 17:26:12
115
原创 windows 域名服务器搭建【原创】
最近使用disconfig上生产的时候，因为生产环境机房和开发环境机房不在一起，需要修改disconfig.properties的服务器地址。这样每次发布要修改这个文件也是挺麻烦的，于是干脆搭建域名服务器，不同环境使用各自的域名映射。一开始是想搭在linux上的，发现依赖的openssl包版本不一致，曾经升级openssl的时候导致虚拟机环境奔溃，这次不敢贸然升级。在windows上搭建也方便...
2017-01-16 21:13:09
444
原创 nginx安装与调优【原创】
前端时间为公司的nginx进行调优，顺便记录一下内容。一、安装1. 下载 [url="https://nchc.dl.sourceforge.net/project/pcre/pcre/8.39/pcre-8.39.tar.gz"]pcre[/url] [url="https://nchc.dl.sourceforge.net/project/libpng/zlib/1.2.8...
2016-12-21 19:20:18
102
原创 https实践【原创】
这次项目中又用到https，在这里记录一些实践命令，以便后续快速查找。https的原理很简单，可以看原先转载的一篇文章《[url="http://zhenggm.iteye.com/blog/558785"]https原理浅析[/url]》。简单归纳：1. 使用https通道加密需要证书密钥对，存在密钥库文件中，可以使用java生成，也可以向第三方证书机构购买。2. 获取到密钥库k...
2016-12-09 08:31:46
138
原创 ELK学习笔记(一)【原创】
最近在做日志系统的选型，最终选择ELK来做应用日志监控。ELK 是 elastic公司的三个产品集合， 分别指 ES, Logstash, Kibana。目前ELK版本为5.0.0, 需要jdk1.8支持。logstash采集采用input，中间用filter处理，然后output。input可以控制台输入，也可以日志文件导入，也可以端口监听输入。output可以输出到控制台，re...
2016-11-09 17:18:07
140
原创 disconf 实践（三）【原创】
发现了很有用的功能。1. 测试和开发不能共用 disconf.properties ，因为对应的env不同。解决方案： 在启动脚本中增加 -Ddisconf.env=local 即可，可以根据不同的环境更改env....
2016-10-26 18:09:35
159
原创 disconf 实践（二）【原创】
因为有些系统的配置文件会随着业务更改，如某些控制开关，当大批量集群时，按照[url="http://zhenggm.iteye.com/admin/blogs/2332193"]上一篇文章[/url]的配置就不够啦，需要做到热加载。研究了一下，还好，比较简单，只要替换[url="http://zhenggm.iteye.com/admin/blogs/2332193"]上一篇文章[/url]第...
2016-10-26 10:47:52
129
原创 disconf 实践（一）【原创】
公司目前的应用基本采用分布式部署，通过F5进行集群管理。分布式应用带来的好处是，随着流量的增加，可以快速扩展应用节点，分摊压力。分布式也会带来一定的挑战，譬如配置文件管理。如果某个配置要修改，那么所有的节点都要进行修改，当面临大规模集群时，很容易改错或改漏。因此，需要一个统一的配置管理中心对配置进行管理，集中修改一个配置文件，所有机器能够自动同步。disconf就是百度开源的配置管理中心。...
2016-10-21 16:29:10
185
原创 关于dubbo的思考【原创】
最近在看dubbo的文档,有些内容结合自己的思考记录一下1. dubbo的本地存根能够提升性能将与服务器环境无关的代码移到stub中，利用ThreadLocal本地缓存，将校验，容错（容错用mock更好，原理相似）等功能放在客户端做，应该能提升性能。这段代码是服务端写好的缓存过去的，所以维护也方便。2. 利用future实现异步调用提升性能等待的时间为最长的那个远程调用事件，并且在...
2016-09-21 08:23:41
111
原创 eclipse 集成 tomcat 加载两次问题
最近帮同事解决了tomcat加载两次的问题。解决方法是将 自定义的webapp目录改为默认的wtpwebapp即可。
2016-09-18 08:17:59
119
原创 zookeeper学习笔记(一)
zookeeper在分布式数据库和服务治理平台两个项目中都有用到，现在补一下学习笔记。[b]1. zookeeper的使用场景：[/b] 1）集中配置管理 （1）管理员创建一个node节点（可以理解为文件目录），并将配置信息放到这个目录中。 （2）应用启动后，与zookeeper建立长连接，并利用zookeeperwatch这个node （3...
2016-09-14 08:26:43
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人