bading8536-CSDN博客

转载 kafka使用（二）- kafka安装和基本操作

2. kafka 在centos7上的安装2.1 因为kafka是使用zookeeper保存相关的配置信息的，kafka以及zookeeper依赖于java运行环境，先进行java的JDK环境安装因为centos7上游jdk1.8环境，所以无需安装配置java2.2 安装zookeeper1）官网下载最新版的zookeeper：http://zookeeper.apache....

2018-12-17 14:55:00 144

转载 kafka使用（一）- 概念理解

0. 概念0.1 消息系统消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，而不用担心怎么去共享它。1）点对点消息系统：消息被保留在队列中，一个或多个消费者可以消耗队列中的消息，但是特定的消息只能由一个消费者消费，一旦消费掉了，消息就会从队列中消失。2）发布-订阅消息系统消息被保留在主题中，与点对点的系统不同，消费者可以订阅一个或多...

2018-12-16 20:19:00 136

转载 sql 回顾（mysql）

sql 回顾（mysql）1. mysql数据类型一共三种：Text、Number、Data/Time1.1 Text1）CHAR(size) 最大2552）VARCHAR(size) 如果大于255，则自动转化为TEXT3）TINYTEXT 存放最大长度为2554）TEXT 存放最大长度为655355）BLOB ...

2018-12-16 15:16:00 126

转载 airflow 文档学习(二) - 概念

1. 核心功能1.1 DAGs有向无环图反映所涉及的task的依赖关系注：搜索dag的时候，airflow只会关注同事包含"DAG"和"airflow"字样的py文件1.2 scopeairflow将加载任何可以从DAG file中import的DAG对象，但是它们必须出现在globals()中，例如下面的文件，只有tag_1会被加载，tag_2只会出现在本地scope...

2018-12-11 14:57:00 674

转载 celery 安装及使用

1. centos7 下安装celery1.1 安装pipyum -y install epel-releaseyum install python-pip1.2 更新pippip install --upgrade pippip install --upgrade setuptools1.3 安装celerypip install -U Celery1.4 中间人安装...

2018-12-09 15:49:00 324

转载 airflow-api 插件的安装与使用介绍

1. 安装插件airflow-rest-api1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建3）重启airflow2. api使用介绍2.1 获取airflow版本...

2018-12-07 15:02:00 392

转载 airflow 文档学习(一) 基本Operator

1. Operator和task简单来说，Operator就是task的抽象类2. BaseOperator所有的功能性Operator的来源2.1 参数：task_id (string) ：唯一标识task的idowner (string)retries (int)：任务重试此时retry_delay (timedelta) ：重试间隔start_date (...

2018-12-03 21:11:00 2208

转载 centos7 超完整安装airflow

1. airflow完整安装流程1.1 airflow 基础安装1）默认自带python2环境，自行安装pipyum -y install epel-releaseyum install python-pip2）进行pip的更新，否则很多安装会报错pip install --upgrade pippip install --upgrade setuptools3）安装开发...

2018-12-03 17:10:00 305

转载 centos7 更新mariadb

1. 备份数据库内容mysqldump -uroot -p --all-databases > /opt/database-dump.sql2. 停止mysql并清除（前提是备份好数据库内容）systemctl stop mariadbyum remove mariadb mariadb-server mariadb-libs3. 添加mariadb下载源vi /etc...

2018-12-03 17:05:00 129

转载 python扫描proxy并获取可用代理ip

今天咱写一个挺实用的工具，就是扫描并获取可用的proxy首先呢，我先百度找了一个网站：http://www.xicidaili.com 作为例子这个网站里公布了许多的国内外可用的代理的ip和端口我们还是按照老样子进行分析，就先把所有国内的proxy扫一遍吧点开国内部分进行审查发现，国内proxy和目录为以下url：http://www.xicidaili.com...

2017-08-06 13:13:00 749

转载 python爬取百度搜索结果url汇总

写了两篇之后，我觉得关于爬虫，重点还是分析过程分析些什么呢：1）首先明确自己要爬取的目标　　比如这次我们需要爬取的是使用百度搜索之后所有出来的url结果2）分析手动进行的获取目标的过程，以便以程序实现　　比如百度，我们先进行输入关键词搜索，然后百度反馈给我们搜索结果页，我们再一个个进行点击查询3）思考程序如何实现，并克服实现中的具体困难那么我们就先按上面...

2017-08-05 23:58:00 1152

转载 python爬虫--自动获取seebug的poc

简单的写了一个爬取www.seebug.org上poc的小玩意儿~首先我们进行一定的抓包分析我们遇到的第一个问题就是seebug需要登录才能进行下载，这个很好处理，只需要抓取返回值200的页面，将我们的headers信息复制下来就行了（这里我就不放上我的headers信息了，不过headers里需要修改和注意的内容会在下文讲清楚）headers = { 'H...

2017-08-04 21:15:00 341

转载 python爬煎蛋妹子图--20多行代码搞定煎蛋妹子图库

如果说一个人够无聊的话。。。就会做一些十分美(wei)丽(suo)的事情啦哈哈哈。。。好的，话不多说，进入正题。正如标题所示，我们今天的目标很简单：代码要少，妹子要好。步骤如下：1. 首先我们得确定需要用到的库：就requests吧，我们首先尝试向煎蛋（http://jiandan.net/ooxx）发起get请求（当然心里希望不需要加头部信息...

2017-08-03 22:45:00 212

bading8536的博客