- 博客(42)
- 收藏
- 关注
RSS订阅转载 python爬取某站磁力链
不同磁力链网站网页内容都不同，需要定制1，并发爬取并发爬取后，好像一会就被封了import requestsfrom lxml import etreeimport refrom concurrent.futures import ThreadPoolExecutordef get_mlink(url, headers): """输...
2019-04-13 19:17:00
2657
转载 python网络编程 - socket
1，socket通信2，socket对象的参数socket families：网络层 socket.AF_INET#IPV4 socket.AF_INET6#IPV6socket.AF_UNIX#unix本机进程间通信socket types：传输层 socket.SOCK_STREAM#TCP ...
2019-04-10 23:37:00
155
转载 python正则表达式 - re
1，匹配符号基本元字符. : 任意字符，除了\n，flags设置为DOTALL(S)可以让.匹配\n|：逻辑或\：转义()：捕获组空白字符[\b] : 回退\f : 换页\n : 换行\r : 回车\t : 制表tab\v : 垂直制表特定字符\d : 数字，等价[0-9]\D : 非数字，等价[...
2019-02-10 20:18:00
295
转载 并发爬取网站图片
某网站的图片：通过“https://photo.fengniao.com/#p=4”（人像）进入某一主题。显示的是几十张缩略的小图片以及相应的跳转地址，点击小图片后获取大图片。想获取小图片背后的大图片，如果通过串行方法依次访问大图链接后保存，会非常耗时。1，使用多线程获取图片import requestsfrom lxml import etreef...
2019-02-04 12:54:00
181
转载 Pandas Series和DataFrame的基本概念
1，创建Series1.1，通过iterable创建SeriesSeries接收参数是Iterable，不能是Iteratorpd.Series(Iterable)可以多加一个index参数，index可以接收Iterator或者Iterable：>>> pd.Series(('a', 'b'), index=iter(range(2))...
2019-01-20 14:46:00
156
转载 python cookbook笔记
1，数据结构和算法1.1，元组拆包1.2，元组拆包*args1.3，collections.deque：队列，保留最后几个元素1.4，heapq.nlargest()，heapq.nsmallest()：最大，最小几个元素1.5，heapq.heappush()，heapq.heappop()：优先级队列1.6，collections.defaultdict：一键...
2019-01-19 22:35:00
177
转载 guxh的python笔记十一：异常处理
1，抓错方法name = [0, 1, 2]try: name[3]except IndexError as exc: # 抓单个错误，打印错误信息e print(exc) except (IndexError, KeyError) as exc: # 同时抓多个错误，不推荐！！ print(exc) except Ex...
2019-01-16 18:43:00
124
转载 centos7安装python，mariaDB，nginx，django，flask
0，安装centos7centos默认不开启网卡，需要在安装时将ens33设置为on，或者后续通过vi ifcfg-ens33，找到onboot，设置为yes或者也可以改名：cd /etc/sysconfig/network-scripts/ mv ifcfg-ens33 ifcfg-eth0， vi ifcfg-eth0（将name改为eth0）ssh登陆centos7...
2019-01-16 16:17:00
155
转载 python常用库
1，time时间的表示形式：格式化的字符串：'2018-2-4 14:08:01'时间戳：1970年1月1日至今经历的秒数元组（struct_time）：time.struct_time(tm_year=2018, tm_mon=2, tm_mday=4, tm_hour=10, tm_min=34, tm_sec=56, tm_wday=6, tm_yday=35,...
2019-01-15 19:28:00
276
转载 python小技巧
1，换值a, b = b, a 2，真值测试if a and b:真：任意非空字符串，任意非0数字，任意非空容器，其他任意非False假：空的字符串，数字0，空的容器 [] () {} set()，None备注：含有空格的字符串为真：print(bool(' ')) # Trueprint(bool('')) # Fal...
2019-01-15 18:36:00
76
转载 guxh的python笔记八：特殊方法
1，类的特殊方法 新建一个类，本章内容中的特殊方法如果不创建类或新增方法，默认使用的就是下面的类：class Foo: """this is Foo""" typecode = 'd' def __init__(self, x): self.x = x def run(self): ret...
2019-01-13 16:48:00
102
转载 guxh的python笔记五：面向对象
1，面向对象编程思想类：一类具有相同属性的抽象 属性（静态属性）：实例变量、类变量、私有属性 方法（动态属性）：构造函数、析构函数（默认就有）、函数、私有函数对象/实例：类经过实例化后，就是对象/实例封装 encapsulation：隐藏对象的属性和实现细节，仅对外公开接口继承 inheritance：类派生子类多态 polymorp...
2019-01-13 15:09:00
121
转载 guxh的python笔记二：函数基础
1，函数的参数1.1，查看函数的参数类型def run(a, *args, b, **kwargs): return a + b可以通过如下方式查看参数类型：import inspectk = inspect.signature(run)for i, j in k.parameters.items(): print('{:7}:'...
2019-01-10 21:48:00
173
转载 guxh的python笔记一：数据类型
1，基本概念1.1，数据类型基本数据类型：字符串，数字，布尔等引用数据类型：相对不可变（元组），可变（列表，字典，集合等）基本数据类型存放实际值，引用数据类型存放对象的地址（即引用）==：判断值是否相等is：判断id是否相等，即内存地址，id()可以返回内存地址1.2，序列类型容器类型：list，tuple，collections.deque，存放引...
2019-01-09 22:56:00
183
转载 guxh的python笔记三：装饰器
1，函数作用域这种情况可以顺利执行：total = 0def run(): print(total) 这种情况会报错：total = 0def run(): print(total) total = 1这种情况也会报错：total = 0def run(): total += 1 ...
2019-01-09 19:55:00
123
转载 guxh的python笔记十：包和模块
1，包和模块包package：本质就是一个文件夹/目录，必须带一个__init.__.py的文件模块module：.py结尾的python文件2，导入方法import pandas, collections #导入多个import pandas aspd #起别名from module import fun # 导入优化，可以直接使用funim...
2019-01-08 18:44:00
203
转载 guxh的python笔记六：类的属性
1，私有属性class Foo: def __init__(self, x): self.x = x类的属性在实例化之后是可以更改的：f = Foo(1)print(f.x) # 1f.x = 2print(f.x) # 2如果想禁止访问属性，即让属性私有，可以用“双下划线” 或者“单下划线”...
2019-01-07 22:21:00
216
转载 guxh的python笔记四：迭代
1，可迭代对象iterable，迭代器iterator，生成器generator可迭代对象iterable：实现__iter__方法的类。__iter__方法返回iterator或者generator。实现__getitem__方法的类。其参数是从0开始的索引。迭代器Iterator：实现__iter__方法和__next__方法的类（即自遍历）。其中__...
2019-01-07 19:37:00
227
转载 流畅的python笔记
鸭子类型协议不完全总结序列：len，getitem切片：getitemv[0]分量的取值和写值：getitem和setitemv.x属性的取值和写值：getattr和setattr迭代：1）iter，2）getitem上下文管理器：enter，exit+=：1）iadd，2）add可散列：hash，eqin测试：1）contains，2）iter，3）getitem第一章，py...
2019-01-05 14:32:00
84
转载 guxh的python笔记七：抽象基类
1，鸭子类型和白鹅类型1.1，白鹅类型白鹅类型对接口有明确定义，比如不可变序列（Sequence），需要实现__contains__，__iter__，__len__，__getitem__，__reversed__，index，count。对于其中的抽象方法，子类在继承时必须具体化，其余非抽象方法在继承时可以自动获得，Sequence序列必须具体化的抽象方法是__len__...
2019-01-01 23:48:00
103
转载 自己动手编写IPv4地址包含关系测试的小脚本
工作中需要对地址包含关系进行测试，现有ipaddress标准库和IPy无法满足，于是自己动手编写小脚本，主要实现== , in, <等专用功能，其他功能可以后续用到再补充，例如迭代打印网段内所有地址，输出前缀长度等等。一，含有的类：Host类：主机地址，eg, Host('192.168.1.1')Network类：网络地址，eg，Network('192.168.1.0 25...
2018-12-22 23:44:00
240
转载 python paramiko自动登录网络设备抓取配置信息
ssh = paramiko.SSHClient()ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())ssh.connect(hostname='192.168.1.2', port=22, username='cisco', password='cisco') # 地址是192.168.1.2，用户名/密码都是cisco...
2018-10-22 17:15:00
978
转载 jQuery笔记
jquery ——> dom ：$('#i1')[0]dom ——> jquery ：$(this)eg：变成dom对象后可以看到标签具体内容<input type="button" value="开关" id="i1">$('i1')输出 : jQuery.fn.init[input#i1]$('#i1')[0]输出 : <input typ...
2018-10-05 14:57:00
87
转载 看到篇博文，用python pandas改写了下
看到篇博文，https://blog.csdn.net/young2415/article/details/82795688需求是需要统计部门礼品数量，自己简单绘制了个表格，如下：大意是，每个部门的员工发福利，有礼品档次（见表一），每个档次礼品对应不同礼品（见表二）假设表一在test.xlsx的sheet1中，表二在test.xlsx的sheet2中，运算结果为...
2018-09-24 15:14:00
45
转载 CSS基础知识
1，CSS怎么写？直接写在标签内：<div style="CSS样式"></div>在head的style标签内定义好CSS模板，通过选择器选中标签使其生效2，CSS选择器2.1，CSS选择器场景一：i1是id选择器，选中id=1的使其生效，不推荐适用 CSS：<style> #i1{ height: 66px; }</styl...
2018-09-24 11:22:00
75
转载 HTML基础知识
1，HTML注释：<!-- -->标签分为：自闭合标签：</>，建议自闭合标签都加"/"，直接就可以知道是自闭合，br，input，image主动闭合标签 ：<></>标签分为：块级标签（不管自己内容，都占一行），div，h，p行内标签（也称内联标签，不会占一行），span，input, a标签属性...
2018-09-19 19:17:00
159
转载 django笔记 - 建站
1，建站步骤：1）django-admin.exe startproject mysite 创建完后的目录结构： - mysite # 对整个程序进行配置 - init - settings # 配置文件 - url # URL对应关系 ...
2018-09-17 21:06:00
70
转载 pandas dataframe的合并（append, merge, concat）
创建2个DataFrame：>>> df1 = pd.DataFrame(np.ones((4, 4))*1, columns=list('DCBA'), index=list('4321'))>>> df2 = pd.DataFrame(np.ones((4, 4))*2, columns=list('FEDC'), index=li...
2018-08-09 20:19:00
539
转载 pandas删除行删除列，增加行增加列
创建df：>>> df = pd.DataFrame(np.arange(16).reshape(4, 4), columns=list('ABCD'), index=list('1234'))>>> df A B C D1 0 1 2 32 4 5 6 73 ...
2018-08-04 23:29:00
2355
转载 OSPF - 3，OSPF区域和LSA
1，四种末端区域骨干区域和标准区域：1，2，3，4，5，包含5类LSA，为了减少某些普通区域的LSA（主要就是4类和5类，有时做绝到连3类也不要了），引入了末梢区域。同时为了确保数据能出去，一般ABR会自动引入默认路由。即“外面怎么精彩不用告诉我，我只要能出去即可”。收到的LSA默认路由配置命令stub1,2,3自动下放（3类LS...
2018-05-07 18:49:00
274
转载 OPSF - 2，状态机
1，报文更新地址点到点：所有报文发送224.0.0.5虚链路：单播地址广播网络上：DR OTHER至DR/BDR 224.0.0.6，DR/BDR至DR OTEHER 224.0.0.5 即：默认都发到224.0.0.5，MA网络发给多出来的DR/BDR是224.0.0.62，报文种类HELLO：周期性发送给邻居，发现和维持OSPF邻居...
2018-05-07 18:48:00
106
转载 OSPF - 1，基础
1，OSPF知识点a）在OSPF中，如果是环回口宣告进OSPF，不管宣告时配置的是多少位掩码，路由器收到的都是32位。（EIGRP配了多少位就收到多少位）。好处：EIGRP中，在PING包发起时如果在宣告的网段内但非环回地址，会被发到目的路由器后丢弃，但如果是OSPF则直接在第一个路由器丢弃。b）OSPF负载均衡：只支持等价负载均衡，默认4条，最高16条。c）OSPF被动接口（passi...
2018-05-07 18:47:00
176
转载 pandas更换index，column名称
1）仅换掉index名称df.index = list2）调整index时，后面的项目也要跟着调整：df.reindex(list)注意如果list中出现了df中没有的index，后面的项目会变成nan举例：df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':[7,8,9]},columns=['a','b','c...
2018-05-06 16:39:00
3182
转载 pandas的时间戳
pandas时间：p1=pd.Timestamp(2018,2,3)p1输出：2018-02-03 00:00:00p1输出类型：<class 'pandas._libs.tslib.Timestamp'>pandas时间转到时间戳:pd.Timestamp.timestamp(p1)备注：发现pandas时间戳和python时间戳基准值不一...
2018-05-06 16:37:00
274
转载 pandas选择单元格，选择行列
首先创建示例df：df = pd.DataFrame(np.arange(16).reshape(4, 4), columns=list('ABCD'), index=list('5678'))df： A B C D5 0 1 2 36 4 5 6 77 8 9 10 118 12 ...
2018-03-22 22:12:00
654
转载 BGP - 5，BGP属性
metric，自己决定去哪个EBGP邻居local-pre，影响AS内部IBGP邻居的路由决策med，影响AS外部EBGP邻居的路由决策1，BGP属性 公认传递（well-known mandatory ）：必须支持，而且必须包含，包括as-path，next-hop，origin 公认非传递（well-known discretionary）：必须...
2018-02-24 21:40:00
334
转载 BGP - 4，BGP的三张表
1，BGP的三张表邻居表（adjancy table）BGP表（forwarding database）：BGP默认不做负载均衡，会选出一条最优的，放入路由表路由表（routing table）查询命令：BGP表：show ip bgp路由表：show ip route邻居表：show...
2018-02-24 21:37:00
2401
转载 BGP - 3，BGP重要概念（EBGP，IBGP，防环/黑洞/全互连/同步）
1，防环/黑洞/同步/全互连（为出现大于号，现在通常都是要下一跳可达+关同步）a）EBGP邻居传来的路由可以通过AS_PATH防环，所以收到的不会有问题，因此直接是优化的（>），也就是直接装表、再传给EBGP邻居或IBGP邻居。b）IBGP邻居传来的路由由于是在同一个AS，所以没法通过AS_PATH防环，于是BGP规定IBGP只能传一跳。c）BGP还有2个问题。 问题一...
2018-02-15 11:32:00
1130
转载 BGP - 2，BGP报文和BGP状态
1，BGP报文Open：建邻居，交换version、AS号、holdtime、BGP identifier（即RouterID）、可选参数长度、可选参数。Keepalive：保持邻居 ，即和BGP对等体的keepalive消息。Update：路由更新 ，NLRI（前缀和前缀长度）、路径属性、被撤销路由。每个update只有一个路径信息。...
2018-02-15 11:26:00
392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人