自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 安全相关的一些资料

安全相关的一些资料下面记录一些安全相关的开源项目一款产品入侵检测工具OSSECfacebook 开源的一款 比较酷的软件工具 Osquery一款免费的EDR Wazuh网络探测及端口扫描 nmap网络安全的monitor zeek如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适...

2019-10-24 16:05:27

阅读数 20

评论数 0

原创 FreeRadius 和 AD 集成搭一套认证环境

FreeRadius 和 AD 集成搭一套认证环境 由于项目需要Radius 认证,所以用freeRadius + AD 搭了一套认证环境,对于AD我搭的是Window server 2019,这里不会描述它,下面主要讲述怎么安装freeRadius ,已经验证认证环境。 环境准备 Window...

2019-10-18 18:17:24

阅读数 180

评论数 0

原创 intellij 报错 source release 1.8 requires target release 1.8

再intellij 中选择JDK 1.8_XX 的时候总会遇到错误 source release 1.8 requires target release 1.8 rootcause 是 我们选择了java compiler target 1.7或者其他的更低的。 solution: 如果maven...

2019-01-25 10:52:50

阅读数 422

评论数 0

原创 Python 资料网站

记录一个python 学习的资料github 链接 https://github.com/jobbole/awesome-python-cn

2019-01-25 10:52:33

阅读数 40

评论数 0

原创 初探Spring AOP

所谓AOP 就是面向切面编程(Aspect-Oriented Programming),主要是应用在Java 的spring 框架中,我们都知道spring 在handle 一个请求或多个请求的时候,我们的需求可能是对每一个请求做一下验证或者记录一笔log, 那这个时候AOP 的编程思想就会解决我...

2019-01-25 10:52:18

阅读数 36

评论数 0

原创 pip install SSL: CERTIFICATE_VERIFY_FAILED solution

centos pip install scikit-image [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581) - skipping 问题是Python 的轮子网站不信任我们的证书,所有我们这样加参...

2018-09-12 14:52:18

阅读数 62

评论数 0

原创 python3.x django 下面配置mysql client

python 3.x 下面install django 之后,用python manage startapp xxx 的时候总是报错: django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module. Did...

2018-07-18 17:35:29

阅读数 365

评论数 0

原创 centos 7 install mysql server

首先我们要去community 去download Yum repository. download mysql 5.7 然后install wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm ...

2018-07-18 17:30:14

阅读数 34

评论数 0

原创 python 的基础知识以及语法

python 语言是1989年由Guido van Rossum (荷兰人)创建, 它是一门语法简洁,可移植性好,开发效率非常高的程序语言。如果你没有如何语言基础,也可以很快上手,正由于python 的简单,上手容易(目前来说python 的生态圈也比较成熟)被许多初学者所青睐;当然,如果你熟悉C...

2018-05-17 15:41:41

阅读数 1573

评论数 0

原创 filebeat 的源码分析

1. Architecture filebeat 是基于libbeat 来build 的一个开源库, filebeat 总共分5个部分: 1. input 在给定的路径上寻找文件,并启动扫割进程来收割文件的数据 2. harvester: 收割机, 读一个文件,然后发送一个事件给spoo...

2018-02-26 16:50:12

阅读数 1588

评论数 0

原创 spark taskset submit and running

spark taskset submit and running spark RDD 在执行一个action 的时候就会trigger sparkcontext 的RunJob 接口, (SparkContext 在初始化的时候会创建 DAGSchedule) 这个就会直接去invoke DAG...

2018-01-18 20:31:17

阅读数 94

评论数 0

转载 docker image 和container 的区别

记录一个超赞的关于docker image container 的link: http://www.cnblogs.com/bethal/p/5942369.html

2017-12-25 19:41:26

阅读数 1849

评论数 1

转载 go unsafe package 的学习

go 不像c 那样直接可以对指针做一些操作,所以go 提供了一个标准的package 来操作指针。go 有三种指针类型: 1.  *  普通指针, 用于传递对象地址,不能进行指针运算 2.  unsafe.Pointer:通用指针类型,用于转换不同类型的指针,不能进行指针运算。 3.  uintp...

2017-07-25 17:16:11

阅读数 123

评论数 0

原创 Centos 上安装 Go

最近在学习Go, 我是在Centos 7 下安装Go 的, download 的地址 https://golang.org/doc/install , 我download 的是 go1.8.3.linux-amd64  download 下的package 是 go1.8.3.linux-amd...

2017-07-18 16:59:17

阅读数 4371

评论数 4

原创 ElasticSearch Yellow status d

项目中ElasticSearch service 突然出现yellow 的status, run 下面的请求出现 curl -XGET http://elasticseach.com:9200/_cluster/health?pretty=true {   "cluster_nam...

2017-07-10 14:45:27

阅读数 309

评论数 0

原创 centos 下安装python2.7.x

centos 6 or 7 上默认的安装Python 2.6的版本, 现在 upgrade 到2.7.x ,  到官方网站去找source code https://www.python.org/downloads/release/  download 相应的版本, 然后我们可能需要build ...

2017-06-30 16:47:43

阅读数 329

评论数 0

原创 Spark integration ElasticSearch

用Spark Streaming 从AWS 的kinesis (类似Kafka) 中读取streaming data, 然后通过spark 计算框架处理之后write into ElasticSearch , spark 写:数据到elasticsearch 有两种方式, 下面是integrat...

2017-06-08 17:30:07

阅读数 260

评论数 0

转载 spark 的实现简介

看到一篇关于spark 的实现的基本原理,detail 不是太多,但是讲的很好的, mark 一下 https://www.kancloud.cn/kancloud/spark-internals/45240

2017-05-04 15:52:16

阅读数 140

评论数 0

原创 spark 2.1 on yarn deployment

1. 准备三台机器, hostname 分别为 spark-master (10.64.xx.155), spark-work1(10.64.xx.154), spark-work2(10.64.xx.157)     将上面的信息写到/etc/hosts 中     10.64.xx.155  ...

2017-04-20 18:45:51

阅读数 178

评论数 0

原创 mysql drop many tables

由于项目中对数据库做操作,有需要对多张table drop , 由于mysql 没有提过对于drop table like "%_CLF_%" 的方法,于是找到一个方法: 1. 用命令到处要drop的table       mysql -uxxx -p...... ...

2017-03-24 17:27:43

阅读数 246

评论数 0

原创 create virtualenv

项目中要用到virtualenv, 主要是python 的应用环境的隔离。 1. 安装pip, 这个可以先download https://bootstrap.pypa.io/get-pip.py 然后run python get-pip.py 来安装pip 2. 然后通过pip 来安...

2017-03-16 15:27:37

阅读数 1010

评论数 0

原创 centos 下git 访问github 的配置

想把一项目放在github 上,在centos git 操作的时候出现  Permission denied (publickey). fatal: The remote end hung up unexpectedly 是因为我们没有做git 的 key的设置。 现在我们来配置gi...

2017-03-14 09:43:16

阅读数 842

评论数 0

原创 nginx 配置转发到tomcat

申请域名之后,域名访问到nginx 上,nginx 将request 转到 tomcat上来: 1.  yum 安装nginx 之后,我们到nginx 的配置目录下/etc/nginx/conf.d/ 下面 找到xx.config  配置如下: server {         liste...

2017-03-08 10:22:11

阅读数 2700

评论数 0

原创 创建swap

由于一个项目要上线了,发现memory 才1G, swap 是0, 这样web 跑这就不行了,于是创建swap 1G : 命令如下: dd if=/dev/zero of=/swap-file bs=1M count=1024 mkswap /swap-file  swapon /swap-f...

2017-03-08 10:14:13

阅读数 120

评论数 0

原创 spark 中 rdd to dataframe 问题

在spark streaming 过程中遇到数据不对的地方,最有check 到时我们RDD到dataframe 出现了问题   rowRdd = rdd.flatMap(build_data_row)   statsRdd = rowRdd.map(map_to_id)   dfstats ...

2017-03-02 13:54:24

阅读数 638

评论数 0

原创 spark streaming 中对DStream 的两个操作

在spark streaming中Dstream (一种streaming type RDDs),有两种操作transformations 和 output: transformations: map(func)                        对每一个元素执行func方法fla...

2017-02-09 16:25:47

阅读数 1544

评论数 0

原创 centos 安装samba window 下write 没有权限的问题

在centos 我将/etc/samba/smb.conf 的配置,改成了writable = yes, 但是然不work(同时也close 了firewall)  38 [shareDir]   39 comment=david share folder   40 path=/usr/wo...

2017-01-22 16:44:22

阅读数 312

评论数 0

原创 vim 的配置

1.  我是在github 上clone 了 vimrc:      https://github.com/amix/vimrc 2. doc 中是将vimrc 的放在root 下,我将我的vim 配置放在/usr/vimrc/, 所以install_awesome_vimrc.sh 下面的c...

2017-01-16 18:27:59

阅读数 158

评论数 0

转载 转载一个关于python web fraemwork 的理解

一个老外写的(下面的是翻译了的), 写的真不错啊 https://my.oschina.net/leejun2005/blog/486771

2017-01-06 17:11:50

阅读数 186

评论数 0

转载 eclipse 的快捷键的使用

Eclipse中10个最有用的快捷键组合  一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码,使得整体的开发效率和质量得到提升。     1. ctrl+shift+r:打开资源     这可能是所有快捷键组合中最...

2016-12-29 17:18:08

阅读数 259

评论数 0

原创 docker 的一些基本命

项目中用到docker, 所以现学现卖了,记录一下docker 中一些常用的命令 1. 首先我们要写一个Dockerfile, example 的在下面,(安装nodejs 的service 为例)具体可以参考 https://nodejs.org/en/docs/guides/nodejs-do...

2016-12-28 14:39:42

阅读数 308

评论数 0

原创 记录centos7.x下network and 一些服务启动

每次安装centos7.x 的时候,总是安装一个mini的版本,导致很多基本的功能没有,并且centos7 比以往的版本 启动一些服务,也不是用service xxx restart 而是用 systemctl restart xxx., 每次安装的时候总是要求查资料 这时候记录一下,到时...

2016-12-27 15:35:00

阅读数 965

评论数 0

转载 nodejs Rational database ORM

nodejs 中的ORM我推荐使用的sequelize 英文文档 http://docs.sequelizejs.com/en/latest/ 还有中文的 http://itbilu.com/nodejs/npm/VkYIaRPz-.html 其他的资料,http://www.red...

2016-12-16 16:16:36

阅读数 214

评论数 0

原创 nginx + uwsgi 出现Too Many Open Files Error

原因:    linux/unix 操作系统默认的ulimit 是1024 , 这个值的意思是软硬文件句柄和打开文件的数目。    对于服务器来说,这种resource 的设置肯定是不对的,于是我们要对system 的操作做一个设置    1. 我们可以用命令查看一下软硬件打开句柄限制      ...

2016-11-15 15:38:47

阅读数 208

评论数 0

转载 前端技术学习路线

前端技术学习路线,参考下面: https://www.douban.com/note/330647290/

2016-11-09 11:03:49

阅读数 170

评论数 0

转载 Bootstrap Responsive Buttons

Bootstrap 扁平化的各个button: http://54im.com/resources/bootstrap-50-color-icon/index.html

2016-11-03 11:07:31

阅读数 118

评论数 0

原创 nginx+uwsgi+django 搭建web

学习了一下django, 试着用nginx + uwsgi + django 来搭建一个web 1. nginx 的搭建    下载nginx 的code  nginx-1.6.2.tar.gz, 然后解压code ,   ./configure xxxx  && ma...

2016-10-21 16:35:32

阅读数 191

评论数 0

原创 centos6 安装 5.6 mysql Community server

centos6 下面默认装的是是mysql 5.1的版本,所以要装5.6 的话,我们需要用yum  来安装mysql 5.6 community server 的版本 1. 首先确认一下你的rpm 源中是不是含有mysql  yum repolist all | grep mysql ...

2016-09-21 16:32:36

阅读数 315

评论数 0

原创 django 1.8 app add templates

之前的( 现在django 在settings 中提供了TEMPLATES项,这个项defaut 是 TEMPLATES = [  {         'BACKEND': 'django.template.backends.django.DjangoTe...

2016-09-20 17:09:10

阅读数 391

评论数 0

转载 推荐一个学习tomcat web app 的搭建过程的blog

一个大牛写的tomcat 搭建web app 的blog ,推荐想了解的可以看看! http://www.cnblogs.com/xdp-gacl/p/3763559.html

2016-09-17 19:46:04

阅读数 158

评论数 0

提示
确定要删除当前文章?
取消 删除