- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 虎扑步行街爬虫分析
最近学习scrapy，就拿虎扑练了下手，主要爬取虎扑步行街的帖子以及回帖的一些数据。scrapy的教程可以看一下我写的上一篇博客: python爬虫框架——Scrapy架构原理介绍 解析网页的时候还需要对xpath有所了解，也可以看一下我的这篇博客： xPath 用法总结整理一、爬虫功能目前主要就实现3个功能： 1. 爬取步行街主干道的帖子 2. 爬取对应帖子的回帖信息 ...
2018-06-23 11:03:23
7188
原创 GitHubPages+Hexo+nexT快速搭建个人博客
很早之前就想搭个自己的个人独立博客了,但是比较懒,自己又不擅长做前端页面，觉得做出来的页面太丑,所以一直拖着。之前的想法一直是自己开发,前端后端代码全包了。后来无意之间发现现在网上有很多种给非开发人员用的搭建博客的工具，如wordpress和hexo等。然后昨天心血来潮在网上找了几篇教程开始尝试搭建自己个人博客。废话不多说,直接开搞。技术介绍 下面为搭建博客要用到的技...
2018-06-13 15:47:08
657
原创 DNS域名解析
互联网是基于TCP/IP协议的,而TCP/IP协议又是基于Ip地址的，所以我们所有的请求都要知道确定的IP地址，但是由于IP地址这种数字组成的字符串是比较难记忆的，所以有了域名这个东西。我们通过DNS解析系统,可以将具体域名解析成我们想要的IP地址。这就是DNS系统的作用。 域名空间 域名空间是一个树形结构。一般我们在浏览器输入一个域名提交后，浏览器都会在最后自动给我们...
2018-06-13 15:45:46
3242
原创 autohotkey-windows快捷键设置神器
作为走在时代最前沿的程序员，电脑必须玩的溜。要想电脑玩的溜，首先快捷键必须用的熟练。一般我们用快捷键最多的地方就是IDE,高效的写代码的时候是绝对离不开各种快捷键的。可以说,快捷键在很大程度上减少了我们很多繁琐的工作。很多软件都自带了各种各样的快捷键，并允许用户修改快捷键。window作为一个成熟的系统,也提供了众多快捷键,比如win+E快速打开我的电脑,win+R快速打开命令行,win+L锁...
2018-06-13 15:42:29
18471
6
原创 python爬虫框架——Scrapy架构原理介绍
说起写爬虫，大多数第一时间想到的就是python了。python语法简洁明了，加上及其丰富好用的库，用它来写爬虫有天然的优势。之前学python的时候也用requests+lxml写过几个爬虫玩，但是都就爬取一些内容就没继续下去了，都没做成一个项目，中间python也荒废了好久。最近要学kafka，就打算爬点数据来实践实践。于是就学起scrapy来，总的来说，scrapy还是很容易上手的，也比...
2018-06-10 22:27:51
6582
4
原创 Centos 安装python3
centos6 里面自带的python版本是2.7的，但是目前的趋势是python3，自己写python脚本的时候也是基于python3，因此，在centos上面装2个版本的python是很有必要的。python3 安装的教程网上也很多，这边也只是做个总结。记得不要把python2给卸载了，因为linux上很多服务都是基于python2的。删了python2可能导致服务出现问题下载安装...
2018-06-10 18:30:58
2690
原创 xPath 用法总结整理
最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容还是打算用lxml，lxml使用了xpath语法，由于太久没用都忘光了。所以打算重新学习一下xpa...
2018-06-08 12:41:14
86137
13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人