爬虫
luozhonghua2000
关注和解决数字技术与数字安全技术痛点问题(安全\AI\性能\架构)整体解决方案,与君共享。
虽然每年有大量的网络安全技术人才从高校涌入人力市场,真正能够满足用人单位需求的却寥寥无几。捧着书本去做应急响应和风险评估是滥竽充数的作法,社会需要的是能够为客户切实解决安全风险的技术精英,而不是满腹教条的阔论者。
我所认识的很多资深安全专家都并非科班出身,他们有的学医、有的学文、有的根本没有学历和文凭,但他们却技术精湛,充满自信。
展开
-
ImportError: No module named win32api解决
ImportError: No module named win32api pip install pypiwin32原创 2017-08-07 23:45:14 · 1706 阅读 · 0 评论 -
python生成中文编码只有GB18030是通用的,gbk不行
title = each.xpath('div[@class="title"]/a/text()').extract()[0] #.decode('utf-8').encode('gb2312') rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0] author = re.原创 2017-08-17 00:36:17 · 4285 阅读 · 0 评论 -
elasticsearch win7集群配置python测试
准备 elasticsearch-2.4.4 包 解压到D:\soft\elasticsearch-2.4.4 在elasticsearch-2.4.4的data下新建2个文件夹分别为data和logs win local ip配置 C:\Windows\System32\drivers\etc\hosts 在hosts文件添加 192.168.1.103原创 2017-09-14 01:16:07 · 396 阅读 · 0 评论 -
elasticsearch centos7集群部署案例
安排3台集群,分别是 192.168.1.21 192.168.1.22 192.168.1.23 这些ip根据自己实际ip设置 确定是否存在java8和已安装的elasticsearch 如果存在已安装的先卸载 elasticsearch卸载方法: yum -y remove elasticsearch find / -name "elasticse原创 2017-09-07 13:42:31 · 849 阅读 · 0 评论 -
网络机器人
网络机器人 博客识别号:小地瓜 微信:识文断字ok 项目简介 网络爬虫机器人,大数据前置技术,提供网络数据抓取和清洗,为大数据赋能 但是网络数据抓取的工作量大部分时间花费为各种网站的各种数据结构编写抓取、清洗规则及反爬虫对策上,因此后续版本将项目演进为网络爬虫框架,为开发用户赋能 项目技术栈 基于S原创 2017-09-25 12:43:47 · 2532 阅读 · 0 评论