后打开撒打发了-CSDN博客

转载 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

摘要: 前段时间研究的Log4j+Kafka中，有人建议把Kafka收集到的日志存放于ES（ElasticSearch，一款基于Apache Lucene的开源分布式搜索引擎）中便于查找和分析，在研究此方案可行性的时候，我发现ELK（ElasticSearch, Logstash, Kibana）平台恰好可以同时实现日志收集、日志搜索和日志分析的功能，于是又去学习了一番。之后发现如果使用这三者，收

2017-10-20 08:59:53 452

原创 hadoop权威指南上天气例子测试运行

一、先代码准备好。代码在本文后面我的hadoop路劲是/Users/chenxun/software/hadoop-2.8.1 所以我在这个建了个自己文件夹myclass目录，把代码放到这个目录下面。如图所示：[chenxun@chen.local 17:21 ~/software/hadoop-2.8.1/myclass]$lltotal 64-rw-r--r-- 1 chenxun

2017-10-15 17:25:36 1190

原创 mac下hadoop环境的搭建以及碰到的坑点

提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面一、首先要配置好java环境下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u1

2017-10-15 00:29:16 15032 9

原创 mac电脑设置 ssh localhost免密码登陆 hadoop需要

1. ssh-keygen -t rsa Press enter for each line 提示输入直接按回车就好2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys3. chmod og-wx ~/.ssh/authorized_keys如果ssh localhost还需要密码查看一下你.s

2017-10-14 11:43:28 2698 1

原创 java map的遍历方法总结

一、这是最常见的并且在大多数情况下也是最可取的遍历方式。在键值都需要时使用。Map map = new HashMap(); for (Map.Entry entry : map.entrySet()) { System.out.println("Key = " + entry.getKey() + ", Value = " + entry.getValue()); }

2017-10-13 10:22:48 851

原创 java 中 LinkedHashMap使用总结

初识LinkedHashMap上两篇文章讲了HashMap和HashMap在多线程下引发的问题，说明了，HashMap是一种非常常见、非常有用的集合，并且在多线程情况下使用不当会有线程安全问题。大多数情况下，只要不涉及线程安全问题，Map基本都可以使用HashMap，不过HashMap有一个问题，就是迭代HashMap的顺序并不是HashMap放置的顺序，也就是无序。HashMap的这一缺

2017-10-13 09:19:58 18465 3

原创 mac下安装hadoop（一）

一、配置java环境我安装的是JDK:1.8.0_111 网上java环境的配置教程很多配置好JAVA_HOME环境变量验证java 和javac在.bash_profile中加上JAVA_HOME= 这里填你的jdk安装安装路径CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH

2017-10-10 22:16:42 1119

转载 NIO Buffer(缓冲区)之基础

缓冲区(Buffer)就是在内存中预留指定字节数的存储空间用来对输入/输出(I/O)的数据作临时存储，这部分预留的内存空间就叫做缓冲区；在Java NIO中，缓冲区的作用也是用来临时存储数据，可以理解为是I/O操作中数据的中转站。缓冲区直接为通道(Channel)服务，写入数据到通道或从通道读取数据，这样的操利用缓冲区数据来传递就可以达到对数据高效处理的目的。在NIO中主要有八种缓冲区类(其中Ma

2017-10-10 15:38:15 469

原创 org.json的使用

jar包的下载到mvn里面去下载好了http://mvnrepository.com/artifact/org.json/json/20170516直接上代码分析代码最好不过了？自己拿去运行分析一下就是你自己的东西了。import java.util.ArrayList;import java.util.HashMap;import java.util.List;import

2017-09-29 13:43:20 908

转载非阻塞算法在并发容器中的实现

简介https://www.ibm.com/developerworks/cn/java/j-lo-concurrent/index.html非阻塞算法在更细粒度的层面协调争用，它比传统的锁有更高的并发性。随着非阻塞算法在 Java 中的应用越来越广泛，java.concurrent 包中用非阻塞算法实现的并发容器也越来越多，ConcurrentLinkedQueue 就是其中的一

2017-09-29 11:27:06 350

转载 kafka总结

Kafka剖析（一）：Kafka背景及架构介绍近年来，活动和运营数据处理已经成为了网站软件产品特性中一个至关重要的组成部分，这就需要一套稍微更加复杂的基础设施对其提供支持。Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数

2017-09-29 07:37:11 441

转载 kafka是什么？深刻理解kafka

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同

2017-09-29 05:23:54 24090

原创 tcp是什么？深刻理解tcp协议-----------tcp协议总结

简析TCP的三次握手与四次分手TCP是什么？具体的关于TCP是什么，我不打算详细的说了；当你看到这篇文章时，我想你也知道TCP的概念了，想要更深入的了解TCP的工作，我们就继续。它只是一个超级麻烦的协议，而它又是互联网的基础，也是每个程序员必备的基本功。首先来看看OSI的七层模型：我们需要知道TCP工作在网络OSI的七层模型中的第四层——Transport层，IP在第三层——Net

2017-09-29 04:49:39 934

转载 JAVA中常用IO流类：FileInputStream和FileOutputStream

FileInputStream 用于读取本地文件中的字节数据，继承自InputStream类构造方法摘要FileInputStream(File file) 通过打开一个到实际文件的连接来创建一个FileInputStream，该文件通过文件系统中的 File 对象 file 指定。FileInputStream(FileDesc

2017-09-28 15:59:25 637

原创 python爬虫实战（四）

#!/user/bin/python# -*- coding: UTF-8 -*-import urllibimport urllib2import lxmlimport reimport MySQLdbimport timefrom bs4 import BeautifulSoupimport httplibhttplib.HTTPConnection._http_vsn

2017-09-08 16:54:58 475

转载 beego框架之路由实践

近日在学习beego框架，今天把beego框架中的路由设置这一块进行了动手实践，感觉beego框架的路由功能还是蛮强大的。参考原文：http://beego.me/docs/mvc/controller/router.md#namespace修改过程中主要是修改了routers/router.go文件，当然也有修改controllers/default.gorouters/router

2017-08-25 10:26:46 1820

原创 mac系统下使用beego工具创建项目出现kill -9 解决方法

最近在使用go和python开发项目，之前一直是用c++做，发现c++熟悉了，其他的语言手到擒来，人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。网上搜到一个解决方案：按照下面的步骤发现果真管用mac最新系统安装beego出现kiil 9(内容来自：http://www.oschina.net/question/2626413_2237311)应该是最

2017-08-24 17:23:37 1507

原创 python爬虫笔记（三）

爬虫结果入库图：代码如下：#!/user/bin/python# -*- coding: UTF-8 -*-import urllibimport urllib2import lxmlimport MySQLdbfrom bs4 import BeautifulSoupimport httplibhttplib.HTTPConnection._http_vs

2017-08-24 11:28:03 519

原创 python爬虫记录（二）

#!/user/bin/python# -*- coding: UTF-8 -*-import urllibimport urllib2import lxmlimport MySQLdbfrom bs4 import BeautifulSoupimport httplibhttplib.HTTPConnection._http_vsn = 10httplib.HTTPConn

2017-08-23 17:23:46 617

原创 python爬虫记录（一）

最近在学习python以及利用python爬虫，公司项目需要：爬虫并入库：代码如下过程碰到最多的就Python2的编码问题，太烦人了。。。。。。。。#!/user/bin/python# -*- coding: UTF-8 -*-import urllibimport urllib2import lxmlimport reimport MySQLdbimport tim

2017-08-23 17:22:26 589

原创 go语言记录奇怪的写法--慢慢品味

package mainimport "fmt"type TestFunc func(*Bar, string)type Bar struct { Name string Alias string}func (t *Bar) SetName(name string) { t.Name = name fmt.Println("Name:", t.N

2017-08-04 19:06:17 624

原创 mysql创建多列组合唯一索引，unique index

CREATE TABLE IF NOT EXISTS `ppserver`.`eventTable`( `userId` INT UNSIGNED NOT null, `taskId` INT UNSIGNED NOT null, `date` TIMESTAMP DEFAULT CURREN

2017-08-04 15:46:03 57643 1

转载在Go语言中使用JSON

2017-08-02 16:15:55 1165

转载 go语言并发编程-----Goroutines 并发模式

前言在Goroutines 并发模式（一）中，我们简单地通过boring函数的例子来粗略地阐述了通过channels来和goroutines交流的方法。在本篇中，我将从pattern的方向出发，通过对boring函数的例子进行各种改写，来讲解几种常见了goroutines的并发模式。并发模式让我们先来回顾一下boring函数的例子。func boring(msg str

2017-07-07 16:20:05 1292

原创 go语言学习----mysql的操作

package mainimport ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" "log")func main() { db, err := sql.Open("mysql", "chenxun:123456@tcp(202.120.1.1:330)/ppserver?ch

2017-07-06 10:22:44 610

原创 go语言学习----字符串、数组和切片的应用

字符串、数组和切片的应用从字符串生成字节切片假设 s 是一个字符串（本质上是一个字节数组），那么就可以直接通过 c := []bytes(s) 来获取一个字节的切片 c。另外，您还可以通过 copy 函数来达到相同的目的：copy(dst []byte, src string)。同样的，还可以使用 for-range 来获得每个元素（Listing 7.13—fo

2017-07-04 20:35:46 6745

原创 go语言学习之-------go httpserver进阶之路go（2）

1.标准库接口定义package httptype Handler interface { ServeHTTP(w ResponseWriter, r *Request)}func ListenAndServe(address string, h Handler) errorListenAndServe函数需要一个例如“localhost:8000”的服务器地址，和一个处

2017-07-04 19:50:57 703

原创 go语言学习之-------go httpserver进阶之路（1）

package mainimport ( "io" "net/http" //"strings" "time")var ( server = &http.Server{ Addr: ":9090", Handler: &ppserver{}, ReadTimeout:

2017-07-04 19:35:37 7093

转载 go语言学习-------Go语言中使用 protobuf

Go语言中使用 protobuf2016年05月03日protobuf以前只支持C++, Python和Java等语言, Go语言出来后, 作为亲儿子, 那有不支持的道理呢? github地址: go protobuf.1. 安装protobuf 首先去 go protobuf 下载protobuf, 然后执行脚本./autogen.sh, 脚本中会

2017-07-03 11:36:27 2672

转载 go语言学习------Go 记录日志——log包

Go 记录日志——log包吃一堑消化不良 · 2016-12-15 21:00:03 · 2161 次点击 · 预计阅读时间 2 分钟 · 3天之前开始浏览这是一个创建于 2016-12-15 21:00:03 的文章，其中的信息可能已经有所发展或是发生改变。 Golang's log模块主要提供了3类接口。分别是 “Print 、Panic 、

2017-07-03 11:12:03 1303

原创 go语言学习-----冒泡排序和斐波数列fib

package mainimport ( "fmt" //"os" //"strings")func busort(a []int) { len := len(a) for i := 1; i < len; i++ { for j := 0; j < len-i; j++ { if a[j] > a[j+1] { a[j], a[j+1] = a[j+1],

2017-07-02 02:10:58 542

原创 go语言配置文件解析库的使用TOML parser and encoder for Go with reflection

TOML 的目标是成为一个极简的配置文件格式。TOML 被设计成可以无歧义地被映射为哈希表，从而被多种语言解析。go语言中读取配置文件的title = "TOML Example"[owner]name = "Tom Preston-Werner"organization = "GitHub"bio = "GitHub Cofounder & CEO\nLikes tater t

2017-06-29 18:20:15 3380

原创 go语言学习笔记之time---Go语言 time时间格式转换

package mainimport ( "fmt" //"io" "flag" "time")func main() { heapProfFile := flag.String("HeapProfFile", "logs/heap.20060102150405.prof", "HeapProf文件路径（含时间戳模板）") fmt.Prin

2017-06-29 15:07:05 3390

转载 go学习笔记之bufio的使用

/ bufio 包实现了带缓存的 I/O 操作------------------------------------------------------------type Reader struct { ... }// NewReaderSize 将 rd 封装成一个带缓存的 bufio.Reader 对象，// 缓存大小由 size 指定（如果小于 16 则会被设置为 16）。

2017-06-29 14:18:39 2715

原创 go语言自定义类型的时候ReadFull如何使用

使用例子如下：Go 语言中的接口很简单，在 Go 语言的 io 包中有这样一个函数：func ReadFull(r Reader, buf []byte) (n int, err error)　　这个函数可以把对象 r 中的数据读出来，然后存入一个缓冲区 buf 中，以便其它代码可以处理 buf 中的数据。　　这里有个问题，ReadFull 函数究竟可以读取哪些对象的数据？可以

2017-06-29 14:16:32 5099 2

原创 go http server读书笔记

go http server读书笔记package mainimport ( "fmt" "net/http" "time")type customHandler struct {}func (cb *customHandler) chenxun(w http.ResponseWriter, r *http.Request) { fmt.Prin

2017-06-29 10:22:43 906

原创快速搭建HTTP服务器 go http server

go http server 例子，自定义路由。package mainimport ( "fmt" "net/http" "reflect" "strings")func hello(w http.ResponseWriter, req *http.Request) { w.Write([]byte("Hello"))}type Han

2017-06-28 18:34:21 19147

转载 go flag的使用

package mainimport "flag"import "fmt"import "strconv"type percentage float32func (p *percentage) Set(s string) error { v, err := strconv.ParseFloat(s, 32) *p = percentage(v) return err}fu

2017-06-27 18:31:59 1153

转载 hash算法原理详解

一.概念哈希表就是一种以键-值(key-indexed) 存储数据的结构，我们只要输入待查找的值即key，即可查找到其对应的值。哈希的思路很简单，如果所有的键都是整数，那么就可以使用一个简单的无序数组来实现：将键作为索引，值即为其对应的值，这样就可以快速访问任意键的值。这是对于简单的键的情况，我们将其扩展到可以处理更加复杂的类型的键。使用哈希查找有两个步骤:

2017-06-05 10:42:39 745

原创 java学习之------vector

import org.apache.kafka.common.config.ConfigDef;import java.util.ArrayList;import java.util.Enumeration;import java.util.List;import java.util.Vector;public class test { public static void

2017-05-25 16:32:26 370

人脸检测，能检测出人脸

基于opecv的肤色检测

C++获取计算机的CPU ID，硬盘序列号等硬件信息

空空如也