- 博客(24)
- 收藏
- 关注
RSS订阅转载 OSI model
OSI模型的意思是Open System Interconnection Model. OSI模型定义了在网络中数据是如何从一个电脑传输到另一个电脑的。最基础的传输形式是，两个电脑用NIC（网络接口卡）共享数据，通过LAN电缆和连接器相互链接，形成一个网络。但是，如果一台计算机是windows而另一台是Mac，那么这两台计算机将如何相互通信？为了实现计算机，网络或不同体系结构之间的成功通信，1984年ISO引入了OSI模型，包括： （1）应用层（2）表示层（3）会话层（4）传输层（5）网络层（6）数据链路
2020-10-08 10:39:31
392
转载 spring-cloud 学习之路（updating..）
妈个鸡，单位不能用有道云笔记，用不了github，也用不了微信，只能用这玩意儿记录了。。。 关于springcloud学习路线 随便找了一个： https://cloud.tencent.com/developer/article/1387420 当然第一步先学习springboot 然后： spring cloud eureka server 注册中心 spring cloud eureka client 客户端 spring cloud feign
2020-10-07 16:10:46
197
转载 note-Effective Unit Testing by Eliotte Rusty Harold
/** https://www.youtube.com/watch?v=fr1E9aVnBxw Verify that a know, fixed input produces a known, fixed output If it’s a deterministic answer, write a characterization test. If the problem is fuzzy or not perfectly defined, test a similar problem with les
2020-09-09 12:29:54
243
转载 note-The Beginners‘s Guide to Spring Cloud - Ryan Baxter
https://www.youtube.com/watch?v=aO3W-lYnw-o&t=951s Spring Cloud Components Configuration Service Discovery Circuit Breakers Routing and Messaging API Gateway Tracing CI Pipelines and Testing There Are More Spring Cloud Bus Spring Cloud Stream Spri
2020-09-09 12:27:10
290
翻译 小白学爬虫笔记17---Scrapy第一个实例
Scrapy第一个实例 演示HTML地址 http://python123.io/ws/demo.html 产生步骤： 步骤1：建立爬虫工厂 scrapy startproject python123demo 生成的工程目录 python123demo/ → 外层目录 scrapy.cfg → 部署Scrapy爬虫的配置文件 pyth...
2018-09-07 12:03:44
283
翻译 小白学爬虫笔记16---Scrapy 的常用命令
Scrapy的常用命令 Scrapy是为持续运行设计的专用爬虫框架，提供操作的Scrapy命令行 Scrapy命令行格式 >scrapy<command>[options][args] command:Scrapy命令 Scrapy常用命令 startproject 说明：创建一个新工程 格式：scrapy startproject <name>[di...
2018-08-28 12:16:45
298
转载 转 小白学爬虫笔记15---Scrapy 库入门
Scrapy 功能强大的网络爬虫框架 pip install scrapy 爬虫框架 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 Scrapy爬虫结构--“5+2”结构 ENGINE SPIDERS SCHEDULER ITEM PIPELINES DOWNLOADER MIDDLEWARE（ENGINE&...
2018-08-27 12:09:48
314
转载 小白学爬虫笔记14---例 股票数据定向爬虫
例 股票数据定向爬虫 功能描述 目标：获取上交所和深交所所有股票的名称和交易信息 价格等 输出：保存到文件中 技术路线：requests-bs4-re 候选网站 http://finance.sina.com.cn/stock/ https://gupiao.baidu.com/stock/ quote.eastmoney.com/stocklist.html/ 选...
2018-08-20 12:45:42
292
转载 小白学爬虫笔记13---例 淘宝商品比价定向爬虫1
淘宝商品比价定向爬虫 功能描述 目标：获取淘宝索索页面的信息，提取其中的商品名称和价格 理解：淘宝的搜索接口、翻页的处理 技术路线：request-re https://s.taobao.com/search?q=书包 程序的结构设计 提交商品搜索请求，循环获取页面。 对于每个页面，提取商品名称和价格信息。 将信息输出到屏幕上。 import reque...
2018-08-15 12:41:42
564
转载 小白学爬虫笔记12---正则表达式-Re库的Match方法&最小匹配
re库的match对象 match = re.search(r'[1-9]\d{5}','BIT 100081') if match: print (match.group(0)) type(match) # <class '_sre.SRE_Match'> Match对象的属性 .string 待匹配的额文本 .re 匹配时使用的pattern对象（正则表达式） ...
2018-08-08 12:41:05
410
转载 小白学爬虫笔记11---正则表达式-Re库
正则表达式 Re库 Re库是Python的标准库 import re 表示类型 raw string类型（原生字符串类型） r'text' 例如： r'[1-9]\d{5}' r'\d{3}-\d{8}|\d{4}-\d{7}' #国内电话号码 raw string 是不包含转义符的字符串 string类型，更繁琐，需要转义符 当正则表达式包含转义符时，使用ra...
2018-08-07 12:39:48
509
转载 小白学爬虫笔记10---正则表达式入门
正则表达式 regular expression regex RE 优势-简洁 例1： 'py' 'pyy' 'pyyy' 正则表达式 py+ 例2 'pyabc' 'pykxyz' 正则表达式：py[^py]{0,10} 正则表达式 通用的字符串表达框架 简洁表达一组字符串的表达式 针对字符串表达“简洁”和“特征”思想的工具 判断某字符串的特征归属 应用：主要在...
2018-08-06 12:55:29
290
转载 linux笔记note25 vim常用命令
简介 没有菜单，只有命令 工作模式 命令模式 vi filename 进入 删除 x 删除光标所在字符 nx 删除光标所在后n个字符 dd 删除光标所在行 ndd 删除n行 dG 删除光标所在行到文件末尾内容 D 删除光标所在处到行尾内容 ：n1,n2d 删除指定范围的行 移動 $ 移至行尾 ...
2018-08-01 19:32:58
146
转载 linux笔记note24 关机重启命令
shutdown -h 关机 shutdown -r 重启 shutdown -c 取消上次关机重启命令 init 系统运行级别 0 关机 1 单用户 2 不完全多用户，不含NFS服务 network file system：linux、unix之间文件共享 3 完全多用户 4 未分配 5 图形界面 6 重启 配置文件 etc/inittab id: 默认运行级别，...
2018-08-01 12:26:00
155
转载 微信小程序学习笔记1--序
微信小程序 序 微信小程序的实质 Hybrid App 优势 微信团队的支撑 引流和用户粘性好 身份认证识别和消息及时推送 如何开发（主要技术） WXML(HTML5) WXSS(css) JavaScript 开发思路 使用app开发的数据绑定渲染的思路 文档资料 https://mp.weixin.qq.com/wiki 注意 没有window对象：zep...
2018-07-31 12:46:10
192
转载 小白学爬虫笔记9---实例：中国好大学排名
实例：中国大学排名 html = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html' 功能说明 输入：url 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 基数路线：requests-bs4 定向爬虫：仅对当前url进行爬取，不扩展爬取 程序的结构设计 获取网页内容 提取数据结构 展示数据结果 getH...
2018-07-31 12:30:29
236
转载 小白学爬虫笔记8---信息提取的一般方法
信息提取的一般方法 方法一：完整解析信息的标记形式，再提取关键信息。 XML JSON YAML 需要标记解析器 例如：bs4库的标签树遍历 有点：信息解析准确 缺点：提取过程繁琐，慢 方法二：无视标记形式，直接搜索关键信息 搜索 对信息的文本查找函数即可。 优点：提取过程简洁，速度较快。 切刀吗“同期信息准确性与信息内容相关。 融合方法：结合形式解析与搜...
2018-07-29 12:30:12
254
转载 小白学爬虫笔记7---信息的标记
信息的标记 标记后的信息科形成信息组织结构，增加了信息维度 标记后的信息可用于通信、存储或展示 标记的结构与信息一样具有重要价值 标记后的信息更利于程序理解和运用 HTML的信息标记 hyper text markup languageHTML是WWW(World Wide Web)的信息组织方式 超文本：声音、图像、信息、文本 通过预定义的<>...</>...
2018-07-23 12:26:20
182
转载 小白学爬虫笔记6---标签树的遍历
遍历方法 标签树的下行遍历 .contents 子节点的列表 .children 子节点的迭代类型 .descendants 子孙节点的迭代类型 samples: soup = BeautifulSoup(demo, "html.parser") soup.head soup.head.contents soup.body.contents len(soup.body.conte...
2018-07-18 12:39:10
654
转载 小白学爬虫笔记5---beautifulsoup库基本元素
Beautiful Soup库的基本元素 解析、遍历、维护标签树的功能库 <p>..</p>：标签Tag p为Name class="title"为属性，属性为键值对构成 Beautiful Soup库的引用 from bs4 import BeatifulSoup import bs4 HTML文档、标签树、BeautifulSoup类等价 from b...
2018-07-17 13:03:01
283
转载 小白学爬虫笔记4---beautifulsoup库
Beautiful Soup（美味汤）库 可以进行任何格式的爬取并进行树形解析 安装 pip3 install beautifulsoup4 演示地址 python123.io/ws/demo.html 语法 from bs4 import BeautifulSoup soup = BeautifulSoup('&amp;amp;lt;p&amp;amp;gt;data&amp;amp;lt;/p&amp;amp;g
2018-07-16 12:34:07
278
转载 小白学爬虫笔记3---几个基本实例
实例1：京东商品爬取 import requests url = "https://item.jd.com/3739097.html" try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding pring(r.text[:1000]) except: p...
2018-07-11 13:07:48
228
转载 小白学爬虫笔记2---网络爬虫引发的问题
网络爬虫的（按）尺寸（划分） 爬取网页，玩转网页，小规模，爬取速度不敏感，Requests库 爬取网站，系列网站，中规模，爬取速度敏感，Scrapy库 爬取全网，大规模，搜索引擎，爬取速度关键，定制开发 网络爬虫可能引发的问题 网络爬虫的“骚扰” 受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。 网络爬虫的法律风险 服务器上的数据有产权归...
2018-07-10 12:33:01
606
转载 小白学爬虫笔记1---python:requests类及其方法
Requests包 import requests Requests库的7个主要方法 requests.request() requests.get() requests.head() requests.post() requests.put() requests.patch() requests.delete() 返回异常类 requests.ConnectionError ...
2018-07-10 11:41:59
668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人