2018年04月_Fredreck1919

原创（82）--用代码实现简谐运动

# 模拟实现简谐运动# temp.pyimport matplotlib.pyplot as pltimport numpy as npdef f(t): return np.cos(2 * np.pi * t)a = np.arange(0.0,5.0,0.02)plt.plot(a,f(a))plt.xlabel('横坐标(时间)',fontproperties='Ka...

2018-04-27 16:32:57 2609

原创（81）--图片修改小技巧之手绘

# 深入理解图片成像原理以及数据背后含义之后制作一个小程序# temp.pyfrom PIL import Imageimport numpy as np# 图像手绘效果a = np.asanyarray(Image.open(r'D:\学习\作业\趣图\01.jpg').convert('L')).astype('float')depth = 10grad = np.gradient...

2018-04-26 16:16:48 257

原创（80）--图片修改小技巧

# 深入理解图片成像原理以及数据背后含义之后制作一个小程序# temp.pyfrom PIL import Imageimport numpy as npa = np.array(Image.open(r'D:\学习\作业\趣图\01.jpg'))print(a.shape,a.dtype)b = [255,255,255] - aim = Image.fromarray(b.as...

2018-04-26 11:51:23 182

转载（79）--爬取网页信息

# 增加搜索功能import reimport urllib.requestimport jsondef InsertDict(D, key, value): D.setdefault(key) D[key] = valuedef GetHtml(url): response = urllib.request.urlopen(url) text = re...

2018-04-24 11:07:52 241

原创（78）--用框架爬取招聘信息

（78）--用scrapy框架简单爬取赶集网信息# main.pyfrom scrapy import cmdlinecmdline.execute('scrapy crawl spider_ganji'.split())# spider_ganji.py# -*- coding: utf-8 -*-import scrapyfrom ..items import WwwGanjiIte...

2018-04-19 15:33:25 1175

原创（77）--用框架爬取博客园信息并保存到数据库

# 用框架爬取博客园信息并保存到数据库# cnlogs_itload.py# -*- coding: utf-8 -*-import scrapyimport refrom ..items import CnblogItem,CnblogItemLoaderfrom datetime import datetimefrom w3lib.html import remove_tagsf...

2018-04-12 19:31:38 405

原创（76）--用框架爬取交友信息并保存到数据库

# 用框架爬取交友信息并保存到数据库# yuehui.py# -*- coding: utf-8 -*-import scrapyimport jsonimport mathfrom ..items import YuehuiItem,TrueHeartItemimport reclass YuehuiSpider(scrapy.Spider): name = 'yuehui...

2018-04-11 19:07:55 323

原创（75）--用框架爬取腾讯招聘信息并保存到数据库

# 用框架爬取腾讯招聘信息并保存到数据库# main.pyfrom scrapy import cmdlinecmdline.execute('scrapy crawl tencent_new'.split())# tencent_new.py# -*- coding: utf-8 -*-import scrapyfrom urllib import request,parsefrom ...

2018-04-10 16:59:42 535

原创（74）--用框架爬取腾讯招聘首页

# 用框架爬取腾讯招聘首页# tencent.py# -*- coding: utf-8 -*-import scrapyfrom ..items import JobItemfrom datetime import datetimeclass TencentSpider(scrapy.Spider): name = 'tencent' allowed_domains =...

2018-04-10 14:55:30 329

原创（73）--用框架爬取兄弟连老师信息

# 用框架爬取兄弟连老师姓名# xdl.py# -*- coding: utf-8 -*-import scrapyclass XdlSpider(scrapy.Spider): name = 'xdl' # allowed_domains = ['www.xdl.cn'] start_urls = ['http://www.itxdl.cn/activity/te...

2018-04-09 19:15:39 346

# 用JS代码自动运行程序from selenium import webdriverimport timechrome = webdriver.Chrome(executable_path=r'E:\Python\python爬虫\chromedriver.exe')base_url = 'https://image.baidu.com/search/index?ct=201326592&...

2018-04-09 11:57:42 370

原创（71）--爬取拉勾网招聘信息

# 爬取拉勾网招聘信息from selenium import webdriverimport timefrom lxml import etreedc = { 'phantomjs.page.customHeaders.User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM...

2018-04-09 10:16:02 756

原创（70）--爬取哦漫画图片并下载到相应文件夹

# 爬取哦漫画图片并下载到相应文件夹from selenium import webdriverimport timeimport requestsfrom bs4 import BeautifulSoupimport refrom urllib import request,parseimport os# 1.获取漫画章节链接phantom = webdriver.Phant...

2018-04-08 20:14:52 656

原创（69）-- selenium的简单应用

# selenium的简单应用from selenium import webdriverimport timebrowser = webdriver.Chrome(executable_path=r'E:\Python\python爬虫\chromedriver.exe')base_url = 'http://www.baidu.com'browser.get(base_url)...

2018-04-08 16:56:06 214

原创（68）-- 爬取糗百信息

# 爬取糗百信息import threadingfrom queue import Queueimport requestsfrom lxml import etreeimport time# 最大开启采集线程数（并发数）concurrent = 3# 解析并发数conparse = 3class Crawl(threading.Thread): def __init...

2018-04-08 16:05:49 380

原创（67）-- 多线程爬取腾讯招聘并存入数据库

# 多线程爬取腾讯招聘职位信息并存入数据库 # mydb.pyimport pymysqlclass Mydb: def __init__(self): try: self.conn = pymysql.connect('127.0.0.1','root','123456','han',charset='utf8') se...

2018-04-04 16:40:38 317

原创（66）-- 多进程爬取腾讯招聘信息

# 用多进程爬取腾讯招聘的文本信息from multiprocessing import Poolimport requestsfrom bs4 import BeautifulSoupimport timebase_url = 'http://hr.tencent.com/position.php?start=%d'headers = { 'User-Agent' : '...

2018-04-04 11:13:42 2584

原创（65）-- 爬取58交友信息

# 二级爬取58交友的名字、年龄、身高、学历、图片信息，并把这些信息保存到数据库中# 首先要在当前目录下建立一个58文件夹，然后通过Navicat连接到数据库# mydb.pyimport pymysqlclass Mydb: def __init__(self): try: self.conn = pymysql.connect('127.0....

2018-04-03 16:27:03 298

原创（65）-- 爬取兄弟连老师信息

# 爬取兄弟连老师信息，先建一个teacher文件夹from bs4 import BeautifulSoupimport requestsfrom urllib import requestimport jsonbase_url = 'http://www.itxdl.cn/activity/teacher/teacher_lieibiao/'response = requests....

2018-04-03 11:53:59 263

原创（63）-- 爬取兄弟连网页信息

# 爬取兄弟连网页信息，包括详细信息和图片import requestsfrom lxml import etreeimport jsonfrom urllib import requestdef getUrl(): base_url = 'http://www.itxdl.cn/html/php/phparticles/' response = requests.ge...

2018-04-02 19:11:06 237

Fredreck1919的博客