Morning_0217 博客

TCP与UDP先说说TCP吧三次握手第一次第二次第三次再说说UDPUDP会做些什么呢？应用场景小结参考以下全是笔者的一己之见，如有不对，还望各位看官不吝指出先说说TCP吧第一次听说TCP和UDP，还是在学长的口中，三次握手什么的，具体记不太清了，后来就自己查了下资料，全是兴趣 （我不会告诉你这是我们的作业）三次握手最终还是需要谈谈三次握手的我眼中的“三次握手”，就是两个...

上课笔记整理-1概念服务器云服务器依赖关系进程线程关于linux命令winelinux安装文件后缀后端CS架构C/S结构B/S结构P2P网络协议http概念服务器服务器就是高级的计算机吧，有着高速的运算速度和性能云服务器可以理解为就是一个虚拟机翻墙 为所欲为依赖关系一个软件需要其他软件作为支撑才能运行仓库里没有智能扩容，从别的库里。。。进程线程线程是进程的子集，eg...

爬虫-Scrapy-记录Scrapy框架是什么Scrapy 运行流程制作Scrapy爬虫步骤Scrapy框架配置安装推荐参考资料Scrapy框架是什么图片来自于视频截图 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间：00：18Scrapy 运行流程如片来...

ITcast小爬虫配置准备目标配置准备实现准备了下xpath helper插件，这是个谷歌浏览器上的小插件，帮助使用F12（额，我也不知道那是个啥）在element中定位元素。目标爬取 http://www.itcast.cn/channel/teacher.shtml#ajavaee 上老师的信息...

管道什么是管道？案例补充一些东西吧什么是管道？管道也就是item管道，是负责处理spider从网页上爬取过来的item，并进行清洗、验证、存储数据换句话说，管道更像是一个筛子，筛选出我所需要的数据案例接着上次的说吧，我们进行一些修改，如下修改完后我们需要去处理一下管道文件，因为我们需要通过修改管道文件来筛选数据，也就是明确怎样筛选数据（管道文件也就是在项目下的爬虫里面的pipeli...

记第二次Hub寒假任务写在前面任务要求开始吧~Step 1 - 分析开始页面Step 2 - 解决翻页Step 3 - 寻找表单里的关键数据写在前面苦逼的寒假马上结束，整个寒假就只弄了实验室的任务，我真的很快落这是我们的第二个任务，比第一次任务一要熟练一些了，萌新渐渐熟练操作，o(╥﹏╥)o废话不多说，开始！任务要求目标网页：http://www.tljyzx.cn/lbv3/n_n...

Urllib库1、 Request & Response引入方法直接url读取request访问2、Get & Post3、Handler4、CookieEND1、 Request & Response引入方法引入urllib.request库python 2import urllib2response = urllib2.urlopen(“www.baid...

小结POST与GETyield ==> 生成器后记POST与GET很久之前，因为任务的原因，了解过POST和GET，在最近的爬虫任务中，也遇到了POST请求和GET请求。出于好奇，再次去了解了一下相关的东西，又有了一些不一样的体会请求过程POST请求会产生2个(TCP)包，而GET请求只产生1个。GET请求比较粗暴，浏览器会把http header和data一并发送出去，...

190317-scrapy小结查看response的具体内容运行时的一些日志解释logging的使用与中间件有关的参数settings.py里本来就有的各种参数说明查看response的具体内容response.url当前响应的url地址response.request.url当前响应对应的请求的url地址response.headers响应头response.body响应体，...