Edifier12-CSDN博客

原创进程和线程的区别和应用

进程就是一个应用程序在处理机上的一次执行过程，它是一个动态的概念，而线程是进程中的一部分，进程包含多个线程在运行。线程是指进程内的一个执行单元,也是进程内的可调度实体.线程与进程的区别:(1)地址空间:进程内的一个执行单元;进程至少有一个线程;它们共享进程的地址空间;而进程有自己独立的地址空间;(2)资源拥有:进程是资源分配和拥有的单位,同一个进程内的线程共享进程的资源(3)线...

2018-08-20 23:05:15 163

原创爬虫--爬取lagouwang

import requestsimport reimport jsonfrom lxml import etreefrom MySQLbao import MysqlHelper#连接数据库储存数据myhelper = MysqlHelper()sql = "insert into lagouwang (company,salary,jingyan,xueli,descript...

2018-08-20 08:19:53 1209

原创爬虫--爬取雪球网数据

import requestsimport jsonimport pymysql#雪球网i = 1 #记录第一个ajax请求max_id = -1count = 10while i <= 20: url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id...

2018-08-16 00:50:56 2494 1

原创爬虫程序的封装的简单操作

对爬虫程序代码进行封装，减少代码的冗余，提高重用性，避免重复造轮子。具体代码如下：from http import cookiejarfrom urllib import request,parsefrom urllib.error import HTTPError,URLErrorclass session(object): def __init__(self): ...

2018-08-14 23:15:00 836

原创爬虫——手动登陆一次，使用cookie信息进行信息爬取

1、首先使用爬虫脚本对百度翻译进行网页爬取，定义函数对get和post两种请求方式进行封装from urllib import request, parsefrom urllib.error import HTTPError, URLError#定义get请求函数def get(url,headers=None): return urlrequests(url,heade...

2018-08-14 23:06:36 2313

原创简单网络爬虫（封装）

一、网络爬虫过程步骤1、分析需求步骤2、根据需求，选取网页（指定URL地址）步骤3、网站数据获取到本地步骤4、定位数据步骤5、数据存储（MySQL，Redis）二、代码实现步骤1. 传入url步骤2. user_agent步骤3. headers步骤4.定义Request步骤5.urlopen步骤6. 返回byte数组1、导入包 #导包from ...

2018-08-13 21:06:19 468

原创 cookie和session的区别和应用

一、二者的定义：当你在浏览网站的时候，WEB 服务器会先送一小小资料放在你的计算机上，Cookie 会帮你在网站上所打的文字或是一些选择，都纪录下来。当下次你再光临同一个网站，WEB 服务器会先看看有没有它上次留下的 Cookie 资料，有的话，就会依据 Cookie里的内容来判断使用者，送出特定的网页内容给你。二、二者的一些区别1、具体来说cookie机制采用的是在客户端保持...

2018-08-13 19:42:56 165

原创 Python（6）--装饰器的简单认识

”’ 装饰器是一个很著名的设计模式，经常被用于有切面需求的场景，较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量函数中与函数功能本身无关的雷同代码并继续重用。概括的讲，装饰器的作用就是为已经存在的对象添加额外的功能。 ”’装饰器就是对函数或者方法或者类进行修饰#第一种定义用于扩张函数功能的函数def decorate(f

2017-12-23 18:09:18 194

原创 Python(5) -- 块排方法进行排序

快排方法的原理：1.选取一个数字作为基准，本题中选取首位数字作为基准数（任意位置选取基准数）2.将数列第一位开始，依次与此数字比较，如果小于此数，将小数交换到左边，最后达到小于基准数的在左边，大于基准数的在右边，分为两个数组3.需要注意的一点就是要在遍历之前定义好终止条件，否则会一直进行循环，进入递归报错。 # 方法1：基本函数方法def sort1(ls): # 取...

2017-12-23 15:43:55 358

转载 Python（4）--lambda函数

在python中有一个匿名函数lambda，匿名函数顾名思义就是指：是指一类无需定义标识符（函数名）的函数或子程序。在C++11和C#中都有匿名函数的存在。下面看看在python中匿名函数的使用。1.lambda只是一个表达式，函数体比def简单很多。2.lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。3.lambda表达式是起到一个函...

2017-12-16 18:19:14 274

转载 Python（3）---简单实用例题

最近学python比较顺手，找到感觉了，所以，我想把我用来练习的实例题目分享出来，有兴趣的朋友可以关注一下。文章分为10篇，每篇10题，共100道实例。后续如果需要可以增加。注意：我用的python2.7，大家如果用Python3.0以上的版本，请记得在print()函数哦！如果因为版本问题评论的，不做回复哦！！！1.题目：有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位...

2017-12-13 11:24:23 1236

原创 Python（2）--分享2个简单又经典的例题

经典例题1：百钱买百鸡母鸡3元一只，公鸡1元一只，小鸡0.5元/只，100块钱买100只鸡，有多少种买法。（三层循环）方法一：mj = 0while mj <= 100: gj = 0 while gj <= 100: xj = 0 while xj <= 100: if mj * 3 + ...

2017-12-09 20:57:44 476

原创 Python （1）----变量命名规则

不管是文件，变量，函数或类名等等，命名都要遵守一个基本规范，就是，命名要有意义，易读易懂。因此，两种主流的命名方式出现了，他们分别是驼峰命名方法和使用下划线分隔的方式。驼峰命名驼峰命名法还细分为两种：1.小驼峰式命名法第一个单词首字母小写，之后的单词首字母大写，例如：userInfo、goodsList、articleList2.大驼峰式命名法 ...

2017-12-06 22:13:37 489

Edifier12的博客