- 博客(23)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Kafka实战——Java程序日志通过log4j到flume再到Kafka
目的：实现一个简单的测试，flume收集程序的日志信息，再将其输出到Kafka中。Java程序：win10flume服务、Kafka服务：centos虚拟机 1. 写Java程序（1）导入依赖包：flume-ng-log4jappender、slf4j-simple <dependency> <groupId>org.apac...
2018-08-26 13:50:38
2973
1
原创 flume在windows10上运行
1. 直接下载官网flume1.8，解压到本地F盘2. 在conf目录下复制flume-env.ps1.template改为flume-env.ps1，改下FLUME_CLASSPATH $FLUME_CLASSPATH="F:\kafka\apache-flume-1.8.0-bin\lib" flume-env.sh操作同上3.检查安装是否成功： bin\flume-...
2018-08-26 01:03:14
8880
5
原创 Kafka实战——flume中消息输出到Kafka中
flume的一个高可用、高可靠、分布式海量日志收集、聚合和传输的系统。flume常用来收集日志，输出到不同的地方，如文件、网络、数据库、Kafka，其中Kafka是一个较常用的输出源。初次接触Kafka，简单测试了下flume消息绑定到Kafka topic中的过程，记录如下。 机器：一台Linux服务器依赖：JDK1.8步骤：1.flume安装与测试 1)下...
2018-08-25 23:09:58
2930
原创 Kafka实战——应用程序log4j信息同步到远程kafka topic中
应用程序的日志信息可通过log4j同步到Kafka中，即：客户端——>后台服务应用程序——>Kafka集群代码如下：1.pom.xml文件导入log4j与kafka的集成依赖库 <dependency> <groupId>org.apache.kafka</groupId> ...
2018-08-25 18:27:48
3792
1
转载 python 调用c++
找了一些python调用c++的方法，发现Python提供了ctypes这个包，可以很容易的使用Python直接调用C语言实现的接口，这使得开发的工作量大大降低，只是ctypes是基于libffi实现的跨语言封装，性能上可能会比使用C Extending来得慢一些。转载下，原文链接：http://blog.csdn.net/kuaile123/article/details/11024873
2017-05-23 12:00:11
7055
原创 bbs段的理解
C程序中的存储空间布局：1.text段。存放文本指令的地方，保存在硬盘上，只读的，不可修改，由.exec程序读取2.data段。初始化的字段，包含明确的初始化值，保存在硬盘上，由.exec读取3.bss段。未初始化数据段。不保存在硬盘上，程序开始执行之前，由内核进行初始化为0。4.栈。自动变量和函数调用时所需保存的信息都存放在此段中。5.堆。在动态内存中手动分配的。
2017-05-04 10:20:40
5397
原创 unix-标准i/o学习笔记
与系统I/O函数不一样的是，标准I/O通常提供了缓冲功能，将数据先缓冲在内存中，当缓冲区满后再自动进行读或写操作，或者强制flush缓冲区进行读写操作，这样可以避免频繁的系统调用，使系统频繁切换于内核态和用户态之间，提高I/O效率。I/O缓冲分三种：全缓冲：填满缓冲区后才进行实际I/O操作，在一个流上第一次执行I/O操作时，相关标准I/O函数通常调用malloc获得需使用的缓冲区。
2017-04-26 11:54:45
440
原创 unix-文件i/o学习笔记
UNIX系统中的大多数文件I/O只需用到5个函数：open、read、write、lseek和close，这些都是不带缓冲的I/O1.open函数2.creat函数用来创建一个新文件3.close函数4.lseek函数lseek仅将当前的文件偏移量记录在内核中，它并不引起任何I/O操作。该偏移量用于下一个读或写操作。当文件
2017-04-25 10:33:59
1014
原创 linux下的shell输入输出重定向
shell上:0表示标准输入1表示标准输出2表示标准错误输出> 默认为标准输出重定向，与 1> 相同2>&1 意思是把 标准错误输出 重定向到 标准输出.&>file 意思是把 标准输出 和 标准错误输出 都重定向到文件file中用例子说话：1. grep da * 1>&2 2. rm -f $(find / -name core) &> /dev
2017-04-25 10:31:28
777
原创 ipython的安装使用，输入一个字符就换一行
今天终于试了下传闻中的ipython，一个非常友好的交互式shell，使用起来就是像平常在cmd端运行python一样，不过它还增加了：1.TAB键自动补全功能；2.加！号访问系统命令 如!date；3.显示行号；4.pylab开关（即自动导入Scipy、Numpy、matlabplotlib三个库）安装：pip install ipython增加自动补全功能需要一
2017-04-25 10:29:57
3658
原创 c++ 大数加法
//实现一个大数加法：123456789999+1231231131111//思路：用两个整形数组从低位开始保存数字结果，int a[1000],b[1000]，相加的结果保存在a[i]中//a[i]=a[i]+b[i]+up, up=a[i]/10, a[i]=a[i]%10const int Max=1000;int a[Max], b[Max];void BiggerPlus(
2017-04-22 11:40:34
1346
原创 c++ 正整数拆分成素因子的乘积
#include//设计算法，将某个大于1的数分成素因子的乘积 6=2*3 7=7 8=2*2*2//1.判断当前数是不是素数，是直接返回//2.否则，循环直到第一个它能整除的素数，当前数变为除以素数后的商，继续大循环。//判断一个数是不是素数#include bool isPrime(int x){ if (x <= 1) return false; if (x == 2)
2017-04-19 21:35:49
7397
原创 C++中 cin的深入理解
C++中的cin是一个 istream对象，从标准输入中读取数据，在iostream头文件中定义。流对象不能拷贝或赋值。此外，读写一个IO对象都会改变其状态，因此传递和返回的引用都不能是const的，否则无法读写。条件状态：IO流有四种条件状态，分别用位来控制。cin.badbit : 001 1 表示系统级错误，一旦被置位，流就无法再使用了cin.eofbi
2017-03-08 15:54:19
16008
1
原创 python实现 爬取twitter用户姓名
twitter提供了API接口，第三方可以通过接口调用，对twitter进行扩展。先说下我理解的API：主要实现两种功能：1.中转站，接收用户信息并通过Twitter API调用获取到结果，再返回给用户 2.拓展栈，基于twitter的用户群，开发一些twitter还没有的小功能。应用情景：Twitter
2016-12-29 19:04:08
8665
原创 sklearn学习笔记3——pipeline
pipeline为方便数据处理，提供了两种模式：串行化和并行化1.串行化，通过Pipeline类实现通过steps参数，设定数据处理流程。格式为('key','value')，key是自己为这一step设定的名称，value是对应的处理类。最后通过list将这些step传入。前n-1个step中的类都必须有transform函数，最后一步可有可无，一般最后一步为模型。pipe继承了
2016-12-28 16:24:16
12857
原创 sklearn学习笔记2 Feature_extraction库
1. 将字典格式的数据转换为特征。前提：数据是用字典格式存储的，通过调用DictVectorizer类可将其转换成特征，对于特征值为字符型的变量，自动转换为多个特征变量，类似前面提到的onehot编码。In [226]: measurements = [ ...: {'city': 'Dubai', 'temperature': 33.}, ...:
2016-12-28 10:43:58
5648
原创 sklearn库学习笔记1——preprocessing库
sklearn的preprocessing库：主要对数据预处理，包括无量纲化，利用iris数据测试from sklearn.datasets import load_irisiris=load_iris()无量纲化：1.标准化：（x-列均值）/ 列标准差from sklearn.preprocessing import StandardScalerStandardSca
2016-12-27 19:25:07
6871
1
原创 python实现：KL距离、jensen-shannon距离
Kullback–Leibler divergence：两个概率分布之间的距离，是从信息熵的角度出发，也叫鉴别信息。计算公式： 对于所有i，都有Q(i)=0 implies P(i)=0；当p(i)=0时，p(i)*log(p(i))趋向于0二者并不等价，因为当p=q时， log(p)-log(q)=0 而log(p/q)=l
2016-10-16 16:34:21
19150
1
原创 python yield
#coding:utf-8#http://www.pythontab.com/html/2015/pythonhexinbiancheng_0415/946.html'''d=hehe()不会print，需调用d.next()，或d.send()d.next()等价于d.send(None)'''def hehe(): a=[1,2,3,4,5] for i in a:
2016-10-10 10:58:18
375
原创 ping通百度却在浏览器中打不开 netsh winsock reset
电脑突然不能上网了，整了一晚上才弄好。首先，找不到网络适配器,本地连接图标也不见了。解决：相关服务关闭了。启动这几个服务及其依赖的服务后，可以看见适配器了。Network Location Awareness服务、Remote Access Connection Manager服务、Network List Service服务。http://zhidao.baidu.c
2016-07-18 22:15:37
5272
原创 Python用QQ邮箱发送邮件时授权码问题
QQ邮箱最新推出了一个授权码，需已验证的手机号向QQ邮箱服务器发送一条短信获得。该授权码用于第三方客户端登录，代替了第三方登录时使用的个人邮箱密码。在测试过程中遇到两个问题：1.运行代码后，程序一直运行，但没有任何反应，等了五分钟左右，最后只好ctrl+c停止。查原因才知道，QQ邮箱的SMTP服务端口不是默认的25.改为465之后就好了。2.运行提示535错误，说授权e
2016-06-27 09:33:36
28657
4
原创 python filter函数
python中常用的内置函数，主要用来过滤元素列表。filter(function or None, sequence)，其中sequence 可以是list ,tuple,string。这个函数的功能是过滤出sequence 中调用function函数结果为False的元素，仅输出符合条件的元素列表。应用举例：1.过滤掉列表中的0元素，或False值。2.调用
2016-06-16 10:10:08
1031
原创 Python最长公共子串和最长公共子序列的实现
最长公共子串 (The Longest Common Substring) LCS问题就是求两个字符串最长公共子串的问题。解法就是用一个矩阵来记录两个字符串中所有位置的两个字符之间的匹配情况，若是匹配则为1，否则为0。然后求出对角线最长的1序列，其对应的位置就是最长匹配子串的位置。#coding:utf-8def find_lcs1(s1, s2): m=[[0 for i i
2016-03-17 22:33:25
35675
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人