- 博客(16)
- 收藏
- 关注
转载 进程和线程的区别
进程和线程的区别 进程能够完成多任务,比如在一台计算机上 可以同时登陆运行很多个qq,只要计算机的运存足够大。线程也能够完成多任务,比如,在一个qq中可以同时与多人聊天,开启多个聊天窗口。定义的不同 但是他们的定义是有区别的,进程是系统进行资源分配和调度的一个独立单位。而线程是进程的一个实体,是CPU调度和分派的基本单位,他是比进程更小的能独立运行的基本单位,线程自己基本上不拥有...
2019-09-29 15:08:00 121
转载 selenium登陆豆瓣
利用selenium 模仿浏览器,登陆豆瓣重点:1. 要设置好 chromedriver配置与使用,chromedriver.exe 和 Chrome的浏览器版本要对应,http://chromedriver.storage.googleapis.com/index.html2. Js代码写完可以在浏览器F12的控制台交互测试一下from sel...
2019-09-17 17:39:00 105
转载 数据组合
a = [1, 2, 3]b = [4, 5, 6]c = [7, 8, 9]for x, y, z in (a, b, c): print(x, y, x) print(type(zip(a, b, c)))# 打印出 1 2 3 , 4 5 6 , 7 8 9print("-"*30)a = ['A', 'B', 'C'...
2019-09-09 15:34:00 274
转载 解析网页的写法汇总
1. urllib 模块from urllib import requesturl = 'https://www.baidu.com/'rsp = request.urlopen(url)html = rsp.read()html = html.decode()print(html) 转载于:https://w...
2019-08-19 16:08:00 108
转载 实战项目 — 爬取 校花网图片
重点:1. 指定路径创建文件夹,判断是否存在2. 保存图片文件# 获得校花网的地址,图片的链接import reimport requestsimport timeimport osstart = time.time()num = 0 # 为了记录爬的照片的次数# 设置路径...
2019-08-19 14:39:00 248
转载 链接 Mysql 创建 数据库和创表,增加数据
重点:1. 链接服务器的数据库2. 创建表和格式3. 插入多行数据import pymysqltry: host='xxx' user='xxx' passwd='xxx' db='test01' port=3306 Table_name='kaka5' # 链接到服务器 ...
2019-08-09 15:02:00 125
转载 python存入csv
如题,后续继续优化import csv# 构建表头headers = ["id", "user_name", "age", "country"]# 内容列表rows = [ ("001", "dana", 18, "china"), ("002", "tom", 22, "arimecan"), ("003", "jack", 45,...
2019-08-07 16:48:00 256
转载 python之 XPath 插件 Chrome浏览器中的 XPath Helper
用于XPath 爬取网页结构的时候使用, 安装后 快捷键调用左边ctrl+shift+x 启动安装流程:1. 打开chrome浏览器,扩展程序 。搜索 XPath Helper 下载安装(前提需要梯子,因为这个是属于goolge商店应用)有这个显示就是安装成功了2. 点击详情,勾选隐身模式转载于:https://www.cnbl...
2019-08-07 10:55:00 323
转载 实战项目 — 爬取中国票房网年度电影信息并保存在csv
有一个难点是遇到了 pandas返回的数据类型,DataFrame() 函数处理才能写入到csv文件里import pandas as pdimport requestsfrom bs4 import BeautifulSoupimport csvurl = "http://www.cbooo.cn/year?year=2018"datas = r...
2019-08-06 16:56:00 2445
转载 反爬中设置随机代理
反爬中有一个使用随机代理的# 导入随机函数模块import random# 构建 user_agent 集合代理user_agent = [ 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/4.0)', 'Mozilla/5.0 (Windows NT 6.1;...
2019-07-31 17:00:00 110
转载 Python 数据类型转换
Python 数据类型转换有时候,我们需要对数据内置的内心进行转换,数据类型的转换,你只需要将数据类型作为函数名即可。以下几个内置的函数可以执行数据类型之间的转换,这些函数返回一个新的对象,表示转换的值。函数描述int(x[,base])将 x 转换为一个整数float(x)将 x 转换到一个浮点数complex(r...
2019-07-17 13:43:00 128
转载 Python 3 中有六个标准的数据类型
Python 3 中有六个标准的数据类型:Number (数字)String (字符串)LIst (列表)Tuple (元祖)Sets (集合)Dictionary (字典)下面来一张思维导图一、Number (数字)后续会持续更新转载于:https://www.cnblogs.com/chen-jun552/p...
2019-07-17 11:59:00 409
转载 整合 User-Agent 大全汇总
一、IE 浏览器而IE各个版本典型的userAgent如下:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)Mozilla/4.0 (...
2019-07-16 10:55:00 428
转载 实战项目 — 使用bs4 爬取猫眼电影热榜(存入本地txt、以及存储数据库列表)...
案例一:重点:1. 使用bs4 爬取2. 数据写入本地 txtfrom bs4 import BeautifulSoupfrom urllib import requesturl = "http://maoyan.com/board"rsq = request.urlopen(url)html = rsq.read().decode(...
2019-07-12 10:55:00 795
转载 致python初学者的天梯
Python简介Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。Python是一门入门非常简单的编程语言,也是目前很受欢迎的编程语言,在人工智能、网络爬虫、计算科学、Web应用、用户交互界面、自动化运维等方面都有广泛的应用,是一...
2019-07-11 23:08:00 243
转载 HTTP: Request中的post和get区别
*GET和POST之间的主要区别 1、GET是从服务器上获取数据,POST是向服务器传送数据。 2、在客户端,get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段一一对应,在URL中可以看到。post是通过HTTP post机制,将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不...
2019-07-10 14:07:00 1346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人