- 博客(24)
- 收藏
- 关注
RSS订阅转载 OSI model
OSI模型的意思是Open System Interconnection Model. OSI模型定义了在网络中数据是如何从一个电脑传输到另一个电脑的。最基础的传输形式是，两个电脑用NIC（网络接口卡）共享数据，通过LAN电缆和连接器相互链接，形成一个网络。但是，如果一台计算机是windows而另一台是Mac，那么这两台计算机将如何相互通信？为了实现计算机，网络或不同体系结构之间的成功通信，1984年ISO引入了OSI模型，包括：（1）应用层（2）表示层（3）会话层（4）传输层（5）网络层（6）数据链路
2020-10-08 10:39:31
254
转载 spring-cloud 学习之路（updating..）
妈个鸡，单位不能用有道云笔记，用不了github，也用不了微信，只能用这玩意儿记录了。。。关于springcloud学习路线随便找了一个：https://cloud.tencent.com/developer/article/1387420当然第一步先学习springboot然后：spring cloud eureka server 注册中心spring cloud eureka client 客户端spring cloud feign
2020-10-07 16:10:46
131
转载 note-Effective Unit Testing by Eliotte Rusty Harold
/**https://www.youtube.com/watch?v=fr1E9aVnBxwVerify that a know, fixed input produces a known, fixed outputIf it’s a deterministic answer, write a characterization test.If the problem is fuzzy or not perfectly defined, test a similar problem with les
2020-09-09 12:29:54
157
转载 note-The Beginners‘s Guide to Spring Cloud - Ryan Baxter
https://www.youtube.com/watch?v=aO3W-lYnw-o&t=951sSpring Cloud ComponentsConfigurationService DiscoveryCircuit BreakersRouting and MessagingAPI GatewayTracingCI Pipelines and TestingThere Are MoreSpring Cloud BusSpring Cloud StreamSpri
2020-09-09 12:27:10
173
翻译 小白学爬虫笔记17---Scrapy第一个实例
Scrapy第一个实例演示HTML地址 http://python123.io/ws/demo.html产生步骤： 步骤1：建立爬虫工厂 scrapy startproject python123demo生成的工程目录python123demo/ → 外层目录 scrapy.cfg → 部署Scrapy爬虫的配置文件 pyth...
2018-09-07 12:03:44
219
翻译 小白学爬虫笔记16---Scrapy 的常用命令
Scrapy的常用命令Scrapy是为持续运行设计的专用爬虫框架，提供操作的Scrapy命令行Scrapy命令行格式>scrapy<command>[options][args]command:Scrapy命令Scrapy常用命令startproject 说明：创建一个新工程 格式：scrapy startproject <name>[di...
2018-08-28 12:16:45
235
转载 转 小白学爬虫笔记15---Scrapy 库入门
Scrapy功能强大的网络爬虫框架 pip install scrapy爬虫框架爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫Scrapy爬虫结构--“5+2”结构ENGINE SPIDERS SCHEDULER ITEM PIPELINES DOWNLOADER MIDDLEWARE（ENGINE&...
2018-08-27 12:09:48
261
转载 小白学爬虫笔记14---例 股票数据定向爬虫
例 股票数据定向爬虫功能描述目标：获取上交所和深交所所有股票的名称和交易信息 价格等 输出：保存到文件中 技术路线：requests-bs4-re 候选网站 http://finance.sina.com.cn/stock/ https://gupiao.baidu.com/stock/ quote.eastmoney.com/stocklist.html/ 选...
2018-08-20 12:45:42
219
转载 小白学爬虫笔记13---例 淘宝商品比价定向爬虫1
淘宝商品比价定向爬虫功能描述目标：获取淘宝索索页面的信息，提取其中的商品名称和价格 理解：淘宝的搜索接口、翻页的处理 技术路线：request-re https://s.taobao.com/search?q=书包 程序的结构设计提交商品搜索请求，循环获取页面。 对于每个页面，提取商品名称和价格信息。 将信息输出到屏幕上。 import reque...
2018-08-15 12:41:42
498
转载 小白学爬虫笔记12---正则表达式-Re库的Match方法&最小匹配
re库的match对象match = re.search(r'[1-9]\d{5}','BIT 100081')if match: print (match.group(0))type(match) # <class '_sre.SRE_Match'>Match对象的属性.string 待匹配的额文本 .re 匹配时使用的pattern对象（正则表达式）...
2018-08-08 12:41:05
323
转载 小白学爬虫笔记11---正则表达式-Re库
正则表达式 Re库Re库是Python的标准库import re 表示类型raw string类型（原生字符串类型）r'text' 例如：r'[1-9]\d{5}'r'\d{3}-\d{8}|\d{4}-\d{7}' #国内电话号码 raw string 是不包含转义符的字符串string类型，更繁琐，需要转义符当正则表达式包含转义符时，使用ra...
2018-08-07 12:39:48
418
转载 小白学爬虫笔记10---正则表达式入门
正则表达式regular expression regex RE优势-简洁例1：'py' 'pyy' 'pyyy' 正则表达式 py+例2'pyabc' 'pykxyz' 正则表达式：py[^py]{0,10} 正则表达式通用的字符串表达框架 简洁表达一组字符串的表达式 针对字符串表达“简洁”和“特征”思想的工具 判断某字符串的特征归属应用：主要在...
2018-08-06 12:55:29
234
转载 linux笔记note25 vim常用命令
简介没有菜单，只有命令工作模式命令模式 vi filename 进入 删除 x 删除光标所在字符 nx 删除光标所在后n个字符 dd 删除光标所在行 ndd 删除n行 dG 删除光标所在行到文件末尾内容 D 删除光标所在处到行尾内容 ：n1,n2d 删除指定范围的行 移動 $ 移至行尾 ...
2018-08-01 19:32:58
96
转载 linux笔记note24 关机重启命令
shutdown -h 关机shutdown -r 重启shutdown -c 取消上次关机重启命令init 系统运行级别0 关机 1 单用户 2 不完全多用户，不含NFS服务 network file system：linux、unix之间文件共享 3 完全多用户 4 未分配 5 图形界面 6 重启配置文件etc/inittabid: 默认运行级别，...
2018-08-01 12:26:00
98
转载 微信小程序学习笔记1--序
微信小程序 序微信小程序的实质Hybrid App优势微信团队的支撑 引流和用户粘性好 身份认证识别和消息及时推送如何开发（主要技术）WXML(HTML5) WXSS(css) JavaScript开发思路使用app开发的数据绑定渲染的思路文档资料https://mp.weixin.qq.com/wiki注意没有window对象：zep...
2018-07-31 12:46:10
138
转载 小白学爬虫笔记9---实例：中国好大学排名
实例：中国大学排名html = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'功能说明输入：url 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 基数路线：requests-bs4 定向爬虫：仅对当前url进行爬取，不扩展爬取程序的结构设计获取网页内容 提取数据结构 展示数据结果 getH...
2018-07-31 12:30:29
175
转载 小白学爬虫笔记8---信息提取的一般方法
信息提取的一般方法方法一：完整解析信息的标记形式，再提取关键信息。 XML JSON YAML 需要标记解析器 例如：bs4库的标签树遍历 有点：信息解析准确 缺点：提取过程繁琐，慢 方法二：无视标记形式，直接搜索关键信息 搜索 对信息的文本查找函数即可。 优点：提取过程简洁，速度较快。 切刀吗“同期信息准确性与信息内容相关。 融合方法：结合形式解析与搜...
2018-07-29 12:30:12
172
转载 小白学爬虫笔记7---信息的标记
信息的标记标记后的信息科形成信息组织结构，增加了信息维度 标记后的信息可用于通信、存储或展示 标记的结构与信息一样具有重要价值 标记后的信息更利于程序理解和运用 HTML的信息标记hyper text markup languageHTML是WWW(World Wide Web)的信息组织方式 超文本：声音、图像、信息、文本通过预定义的<>...</>...
2018-07-23 12:26:20
129
转载 小白学爬虫笔记6---标签树的遍历
遍历方法标签树的下行遍历.contents 子节点的列表 .children 子节点的迭代类型 .descendants 子孙节点的迭代类型 samples:soup = BeautifulSoup(demo, "html.parser")soup.headsoup.head.contentssoup.body.contentslen(soup.body.conte...
2018-07-18 12:39:10
580
转载 小白学爬虫笔记5---beautifulsoup库基本元素
Beautiful Soup库的基本元素解析、遍历、维护标签树的功能库<p>..</p>：标签Tagp为Nameclass="title"为属性，属性为键值对构成 Beautiful Soup库的引用 from bs4 import BeatifulSoup import bs4HTML文档、标签树、BeautifulSoup类等价from b...
2018-07-17 13:03:01
223
转载 小白学爬虫笔记4---beautifulsoup库
Beautiful Soup（美味汤）库可以进行任何格式的爬取并进行树形解析安装pip3 install beautifulsoup4演示地址python123.io/ws/demo.html语法 from bs4 import BeautifulSoupsoup = BeautifulSoup('&amp;amp;lt;p&amp;amp;gt;data&amp;amp;lt;/p&amp;amp;g
2018-07-16 12:34:07
213
转载 小白学爬虫笔记3---几个基本实例
实例1：京东商品爬取import requestsurl = "https://item.jd.com/3739097.html"try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding pring(r.text[:1000])except: p...
2018-07-11 13:07:48
175
转载 小白学爬虫笔记2---网络爬虫引发的问题
网络爬虫的（按）尺寸（划分）爬取网页，玩转网页，小规模，爬取速度不敏感，Requests库 爬取网站，系列网站，中规模，爬取速度敏感，Scrapy库 爬取全网，大规模，搜索引擎，爬取速度关键，定制开发 网络爬虫可能引发的问题网络爬虫的“骚扰”受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。网络爬虫的法律风险服务器上的数据有产权归...
2018-07-10 12:33:01
520
转载 小白学爬虫笔记1---python:requests类及其方法
Requests包import requestsRequests库的7个主要方法requests.request()requests.get()requests.head()requests.post()requests.put()requests.patch()requests.delete()返回异常类requests.ConnectionError...
2018-07-10 11:41:59
579
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人