![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python核心编程
粪逗er
努力的人运气不会差
展开
-
Python 多线程爬取贴吧中的图片
1、采用多个“采集线程”获取“页面”,将页面放入dataQueue中2、采用多个“解析线程”从dataQueue中获取页面内容,提取页面内容中的“每个帖子的链接”,再解析“每个帖子链接中”的内容# 使用了线程库import threading# 队列import queue# 解析库from lxml import etree# 请求处理import requests# jso...原创 2019-04-25 20:07:23 · 196 阅读 · 0 评论 -
Python 爬取贴吧中的图片
1、首先,需要在“谷歌浏览器”中安装xpath插件:安装后的效果图//div[@class="threadlist_lz clearfix"]//a[@class="j_th_tit "]/@href查找过程: // “任意目录” 查找 class 属性值为 threadlist_lz clearfix 的 div 节点 在上述查到的结果下,查找 class 属性值为 j_th_ti...原创 2019-04-24 21:00:48 · 679 阅读 · 1 评论 -
爬虫概念
1、什么是爬虫? 抓取网页数据的程序2、爬虫怎么爬去网页数据的呢?① 网页三大特征 每个网页都有自己的URL(统一资源定位符) 网页都使用HTML(超文本标记语言)来描述网页信息 网页都使用HTTP/HTTPS协议来传输HTML数据② 爬虫的设计思路 [1] 首先确定需要爬取网页的URL地址 [2] 通过HTTP/HTTPS协议来获取对应的HT...原创 2019-04-23 15:00:04 · 430 阅读 · 0 评论 -
Python 正则表达式Regular Expression
正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器中,正则表达式通常被用来检测、替换那些匹配某个模式的文本。 RE模块import re# 使用match方法 “从左到右”、“依次” 进行匹配操作result = re.match(正则表达式,要匹配的字符串)# 如果上一步匹配到数据的话,可以使用group方法来提取数据result....原创 2019-04-22 20:25:27 · 387 阅读 · 0 评论 -
python GIL:使用C生成的动态库.so
并行和并发同属于多任务,目的是要提高CPU的使用效率。这里需要注意的是,一个CPU永远不可能实现并行,即一个CPU不能同时运行多个程序,但是可以在随机分配的时间片内交替执行(并发),就好像一个人不能同时看两本书,但是却能够先看第一本书半分钟,再看第二本书半分钟,这样来回切换。先看下几种情况下,CPU使用情况:1、单核CPU、单[进/线]程死循环执行结果分析:单核的CPU占用率达到10...原创 2019-04-02 15:57:09 · 383 阅读 · 0 评论 -
python 字符串string、列表list、字典dict、元组tuple、集合set
1、添加 append insert(位置,待添加的内容)原创 2019-03-28 10:04:19 · 292 阅读 · 0 评论 -
python 线程
1、创建线程方法1:使用threading.Thread创建# -*- coding: UTF-8 -*-import threadingimport timedef work1(nums): # 线程1改变形参 nums.append(44) print("---in work1---",nums) def work2(nums): # 线程2获取形参 ...原创 2019-04-01 10:28:07 · 145 阅读 · 0 评论 -
python 基本语法
1、python的起源 Guido希望有一种语言,既像C语言那样能全面调用计算机的功能接口,又可以像shell那样可以轻松的编程。2、python2有中文# -*- coding-utf-8 -*- 3、获取用户输入信息input,相当于C++中的cin>>high = input("请输入你的身高:")print("身高=%s" %high) # [格...原创 2019-03-27 16:48:39 · 248 阅读 · 0 评论 -
python 进程
1、创建进程import ospid = os.fork()if pid ==0: # 子进程 print("child")else: # 父进程 print("parent")from multiprocessing import Processimport osdef run_proc(args): print("子进程运行中,args = %s,p...原创 2019-03-31 15:41:29 · 105 阅读 · 0 评论 -
python range/map/filter/reduce/sorted/生成器generator
列表生成式列表生成式:使用range完成range(l,r,step) # [l,r) stepnew_list = [ i for i in range(0,10,2) ] # 只有在用的时候才创建一个 # [0, 2, 4, 6, 8]new_list = [ i for i in range(0,10) if i%2 == 0 ] # 可以加if条件 # ...原创 2019-03-30 21:05:28 · 178 阅读 · 0 评论 -
python 闭包、装饰器
闭包def test(num): # test就称为闭包 def test_in(num_in): # 1、函数里面定义一个内部函数 return num+num_in # 2、内部函数使用了外部函数的形参num return test_in # 3、返回值是一个内部函数对象test_inret1 = test(100) # ret1...原创 2019-03-30 19:59:44 · 100 阅读 · 0 评论 -
python 面向对象:类、继承、元类
类1、 属性、方法、init / del / str、私有__import sysclass Cat: # 构造函数 def __init__(self, name, color): self.name = name # 属性 self.color = color # 属性 ...原创 2019-03-29 17:14:42 · 310 阅读 · 0 评论