python自动生成采集规则_Python爬虫结合dedecms自动采集发布

最新推荐文章于 2022-12-07 19:05:52 发布
最新推荐文章于 2022-12-07 19:05:52 发布
阅读量796 收藏 1
点赞数 1
文章标签： python自动生成采集规则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28877505/article/details/113988394
版权

之前想实现一个爬虫，实时采集别人的文章，根据自己的规则去修改采集到的文章，然后自动发布。决定用dedecms做新闻发布，还可以自动生成html，自动把远程图片本地化等一些优点，为了安全，完全可以把前后台分离。

起初想用scrapy爬虫框架去实现，觉得定制开发的话用scrapy只能用到里面的一些基础的功能，有一些情况要跟着框架的规则走，如果自己写的话可以自己写规则去处理，也有优点爬虫、处理器等，最后还是自己写了一个demo。

首先分析需求，python做爬虫，dedecms做发布，起初先考虑了发布功能，实现了模拟登陆，或者研究dedecms的数据库设计，直接写到数据库，实际中没有这样去做，开始做模拟登陆的时候，需要改dedecms的代码去掉验证码，不然还要实现验证码识别，这个完全没有必要，因为要发布的是自己的网站，自己也有账户、密码、发布文章权限，然后就改了下dedecms的登陆功能，加了一个登陆接口，分析了dedecms的发布文章HTTP数据包。这块搞定了后就开始设计爬虫了，最后设计的感觉和scrapy的一些基础的处理机制很像。

做dedecms的登陆接口如下：

后台目录下的config.php 34行找到

/**

//检验用户登录状态

$cuserLogin = new userLogin();

if($cuserLogin->getUserID()==-1)

{

header(“location:login.php?gotopage=”.urlencode($dedeNowurl));

exit();

}

**/

$cuserLogin = new userLogin();

if($cuserLogin->getUserID()==-1) {

if($_REQUEST['username'] != ''){

$res = $cuserLogin->checkUser($_REQUEST['username'], $_REQUEST['password']);

if($res==1) $cuserLogin->keepUser();

}

if($cuserLogin->getUserID()==-1) {

header("location:login.php?gotopage=".urlencode($dedeNowurl));

exit();

}

}```

这样只要请求：http://127.0.0.2/dede/index.php?username=admin&password=admin 就可以得到一个sessionid，只要用这个sessionid去发布文章就可以了。

发布文章的HTTP数据包如下：

#http://127.0.0.2/dede/article_add.php

POST /dede/article_add.php HTTP/1.1

Host: 127.0.0.2

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8

Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3

Accept-Encoding: gzip, deflate

Referer: http://127.0.0.2/dede/article_add.php?cid=2

Cookie: menuitems=1_1%2C2_1%2C3_1; CNZZDATA1254901833=1497342033-1472891946-%7C1473171059; Hm_lvt_a6454d60bf94f1e40b22b89e9f2986ba=1472892122; ENV_GOBACK_URL=%2Fmd5%2Fcontent_list.php%3Farcrank%3D-1%26cid%3D11; lastCid=11; lastCidckMd5=2f82387a2b251324; DedeUserID=1; DedeUserIDckMd5=74be9ff370c4536f; DedeLoginTime=1473174404; DedeLoginTime__ckMd5=b8edc1b5318a3923; hasshown=1; Hm_lpvt_a6454d60bf94f1e40b22b89e9f2986ba=1473173893; PHPSESSID=m2o3k882tln0ttdi964v5aorn6

Connection: keep-alive

Upgrade-Insecure-Requests: 1

Content-Type: multipart/form-data; boundary=—————————2802133914041

Content-Length: 3639

—————————–2802133914041

Content-Disposition: form-data; name=”channelid”

1

—————————–2802133914041

Content-Disposition: form-data; name=”dopost”

save

—————————–2802133914041

Content-Disposition: form-data; name=”title”

2222222222

—————————–2802133914041

Content-Disposition: form-data; name=”shorttitle”

—————————–2802133914041

Content-Disposition: form-data; name=”redirecturl”

—————————–2802133914041

Content-Disposition: form-data; name=”tags”

—————————–2802133914041

Content-Disposition: form-data; name=”weight”

100

—————————–2802133914041

Content-Disposition: form-data; name=”picname”

—————————–2802133914041

Content-Disposition: form-data; name=”litpic”; filename=””

Content-Type: application/octet-stream

—————————–2802133914041

Content-Disposition: form-data; name=”source”

—————————–2802133914041

Content-Disposition: form-data; name=”writer”

—————————–2802133914041

Content-Disposition: form-data; name=”typeid”

2

—————————–2802133914041

Content-Disposition: form-data; name=”typeid2″

—————————–2802133914041

Content-Disposition: form-data; name=”keywords”

—————————–2802133914041

Content-Disposition: form-data; name=”autokey”

1

—————————–2802133914041

Content-Disposition: form-data; name=”description”

—————————–2802133914041

Content-Disposition: form-data; name=”dede_addonfields”

—————————–2802133914041

Content-Disposition: form-data; name=”remote”

1

—————————–2802133914041

Content-Disposition: form-data; name=”autolitpic”

1

—————————–2802133914041

Content-Disposition: form-data; name=”needwatermark”

1

—————————–2802133914041

Content-Disposition: form-data; name=”sptype”

hand

—————————–2802133914041

Content-Disposition: form-data; name=”spsize”

5

—————————–2802133914041

Content-Disposition: form-data; name=”body”

2222222222

—————————–2802133914041

Content-Disposition: form-data; name=”voteid”

—————————–2802133914041

Content-Disposition: form-data; name=”notpost”

0—————————–2802133914041

Content-Disposition: form-data; name=”click”

70

—————————–2802133914041

Content-Disposition: form-data; name=”sortup”

0—————————–2802133914041

Content-Disposition: form-data; name=”color”

—————————–2802133914041

Content-Disposition: form-data; name=”arcrank”

0—————————–2802133914041

Content-Disposition: form-data; name=”money”

0—————————–2802133914041

Content-Disposition: form-data; name=”pubdate”

2016-09-06 23:07:52

—————————–2802133914041

Content-Disposition: form-data; name=”ishtml”

1

—————————–2802133914041

Content-Disposition: form-data; name=”filename”

—————————–2802133914041

Content-Disposition: form-data; name=”templet”

—————————–2802133914041

Content-Disposition: form-data; name=”imageField.x”

41

—————————–2802133914041

Content-Disposition: form-data; name=”imageField.y”

6

—————————–2802133914041–

#更新生成html请求

http://127.0.0.2/dede/task_do.php?typeid=2&aid=109&dopost=makeprenext&nextdo=

GET /dede/task_do.php?typeid=2&aid=109&dopost=makeprenext&nextdo= HTTP/1.1

Host: 127.0.0.2

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8

Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3

Accept-Encoding: gzip, deflate

Referer: http://127.0.0.2/dede/article_add.php

Cookie: menuitems=1_1%2C2_1%2C3_1; CNZZDATA1254901833=1497342033-1472891946-%7C1473171059; Hm_lvt_a6454d60bf94f1e40b22b89e9f2986ba=1472892122; ENV_GOBACK_URL=%2Fmd5%2Fcontent_list.php%3Farcrank%3D-1%26cid%3D11; lastCid=11; lastCidckMd5=2f82387a2b251324; DedeUserID=1; DedeUserIDckMd5=74be9ff370c4536f; DedeLoginTime=1473174404; DedeLoginTime__ckMd5=b8edc1b5318a3923; hasshown=1; Hm_lpvt_a6454d60bf94f1e40b22b89e9f2986ba=1473173893; PHPSESSID=m2o3k882tln0ttdi964v5aorn6

Connection: keep-alive

Upgrade-Insecure-Requests: 1

通过上面数据包可以分析到如下结果：

POST http://127.0.0.2/dede/article_add.php

需要配置的参数：

channelid:1 #普通文章提交

dopost:save #提交方式

shorttitle:” #短标题

autokey:1 #自动获取关键词

remote:1 #不指定缩略图,远程自动获取缩略图

autolitpic:1 #提取第一个图片为缩略图

sptype:auto #自动分页

spsize:5 #5k大小自动分页

notpost:1 #禁止评论

sortup:0 #文章排序、默认

arcrank:0 #阅读权限为开放浏览

money: #消费金币0

ishtml:1 #生成html

title:”文章标题” #文章标题

source:”文章来源” #文章来源

writer:”文章作者” #文章作者

typeid:”主栏目ID2″ #主栏目ID

body:”文章内容” #文章内容

click:”文章点击量” #文章点击量

pubdate:”提交时间” #提交时间

然后开始模拟dedecms发布文章测试了，python代码如下：

#!/usr/bin/python

#coding:utf8

import requests,random,time

#访问登陆接口保持cookies

sid = requests.session()

login_url = "http://127.0.0.2/dede/index.php?username=admin&password=admin"

header = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0",

"Referer" :"http://127.0.0.2"

}

#登陆接口获取Cookies

loadcookies = sid.get(url = login_url,headers = header)

#进入增加文章页面

#get_html = sid.get('http://127.0.0.2/dede/article_add.php?channelid=1',headers = header)

#print get_html.content

#定义固定字段

article = {

'channelid':1, #普通文章提交

'dopost':'save', #提交方式

'shorttitle':'', #短标题

'autokey':1, #自动获取关键词

'remote':1, #不指定缩略图,远程自动获取缩略图

'autolitpic':1, #提取第一个图片为缩略图

'sptype':'auto', #自动分页

'spsize':5, #5k大小自动分页

'notpost':1, #禁止评论

'sortup':0, #文章排序、默认

'arcrank':0, #阅读权限为开放浏览

'money': 0,#消费金币0

'ishtml':1, #生成html

'click':random.randint(10, 300), #随机生成文章点击量

'pubdate':time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), #s生成当前提交时间

}

#定义可变字段

article['source'] = "文章来源" #文章来源

article['writer'] = "文章作者" #文章作者

article['typeid'] = "2" #主栏目ID

"""

#测试提交数据

article['title'] = "测试_文章标题" #文章标题

article['body'] = "测试_文章内容" #文章内容

#提交后会自动重定向 生成html，http返回状态为200则成功！

res = sid.post(url = article_request,data = article, headers = header)

print res

"""

for i in range(50):

article['title'] = str(i) + "_文章标题" #文章标题

article['body'] = str(i) + "_文章内容" #文章内容

#print article

res = sid.post(url = article_request,data = article, headers = header)

print res

其次就是分析爬虫需求阶段了，如下：

收集采集页面：

http://www.tunvan.com/col.jsp?id=115

http://www.zhongkerd.com/news.html

http://www.qianxx.com/news/field/

http://www.ifenguo.com/news/xingyexinwen/

http://www.ifenguo.com/news/gongsixinwen/

每一个采集页面和要改的规则都不一样，发布文章的栏目可能也有变化，要写多个爬虫，一个爬虫实现不了这个功能，要有爬虫、处理器、配置文件、函数文件(避免重复写代码)、数据库文件。

数据库里面主要是保存文章url和标题，主要是判断这篇文章是否是更新的，如果已经采集发布了就不要重复发布了，如果不存在文章就是最新的文章，需要写入数据库并发布文章。数据库就一个表几个字段就好，采用的sqlite3，数据库文件db.dll建表如下：

CREATE TABLE history (

id INTEGER PRIMARY KEY ASC AUTOINCREMENT,

url VARCHAR( 100 ),

title TEXT,

date DATETIME DEFAULT ( ( datetime( 'now', 'localtime' ) ) )

);

架构设计如下：

│ db.dll #sqlite数据库

│ dede.py #测试dede登陆接口

│ function.py #公共函数

│ run.py #爬虫集开始函数

│ settings.py #爬虫配置设置

│ spiders.py #爬虫示例

│ sqlitestudio-2.1.5.exe #sqlite数据库编辑工具

│ __init__.py #前置方法供模块用

dede.py如下：

#!/usr/bin/python

#coding:utf8

import requests,random,time

import lxml

#定义域名

domain = "http://127.0.0.2/"

admin_dir = "dede/"

houtai = domain + admin_dir

username = "admin"

password = "admin"

#访问登陆接口保持cookies

sid = requests.session()

login_url = houtai + "index.php?username=" + username + "&password=" + password

header = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0",

"Referer" : domain

}

#登陆接口获取Cookies

loadcookies = sid.get(url = login_url,headers = header)

#定义固定字段

article = {

'channelid':1, #普通文章提交

'dopost':'save', #提交方式

'shorttitle':'', #短标题

'autokey':1, #自动获取关键词

'remote':1, #不指定缩略图,远程自动获取缩略图

'autolitpic':1, #提取第一个图片为缩略图

'sptype':'auto', #自动分页

'spsize':5, #5k大小自动分页

'notpost':1, #禁止评论

'sortup':0, #文章排序、默认

'arcrank':0, #阅读权限为开放浏览

'money': 0,#消费金币0

'ishtml':1, #生成html

'click':random.randint(10, 300), #随机生成文章点击量

'pubdate':time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), #s生成当前提交时间

}

#定义可变字段

article['source'] = "文章来源" #文章来源

article['writer'] = "文章作者" #文章作者

article['typeid'] = "2" #主栏目ID

#定义提交文章请求URL

article_request = houtai + "article_add.php"

"""

#测试提交数据

article['title'] = "11测试_文章标题" #文章标题

article['body'] = "11测试_文章内容" #文章内容

#提交后会自动重定向 生成html，http返回状态为200则成功！

res = sid.post(url = article_request,data = article, headers = header)

print res

"""

"""

for i in range(50):

article['title'] = str(i) + "_文章标题" #文章标题

article['body'] = str(i) + "_文章内容" #文章内容

#print article

res = sid.post(url = article_request,data = article, headers = header)

print res

"""

function.py如下：

coding:utf-8

from settings import *

#检查数据库中是否存在文章,0为不存在,1为存在

def res_check(article):

exec_select = "SELECT count(*) FROM history WHERE url = '%s' AND title = '%s' "

res_check = cur.execute(exec_select % (article[0],article[1]))

for res in res_check:

result = res[0]

return result

#写入数据库操作

def res_insert(article):

exec_insert = "INSERT INTO history (url,title) VALUES ('%s','%s')"

cur.execute(exec_insert % (article[0],article[1]))

conn.commit()

#模拟登陆发布文章

def send_article(title,body,typeid = "2"):

article['title'] = title #文章标题

article['body'] = body #文章内容

article['typeid'] = "2"

#print article

#提交后会自动重定向 生成html，http返回状态为200则成功！

res = sid.post(url = article_request,data = article, headers = header)

#print res

if res.status_code == 200 :

#print u"send mail!"

send_mail(title = title,body = body)

print u"success article send!"

else:

#发布文章失败处理

pass

#发邮件通知send_mail(收件，标题，内容)

def send_mail(title,body):

shoujian = "admin@127.0.0.1"

设置服务器，用户名、密码以及邮箱的后缀

mail_user = "610358898"

mail_pass="你的邮箱密码"

mail_postfix="qq.com"

me=mail_user+""

msg = MIMEText(body, 'html', 'utf-8')

msg['Subject'] = title

#msg['to'] = shoujian

try:

mail = smtplib.SMTP()

mail.connect("smtp.qq.com")#配置SMTP服务器

mail.login(mail_user,mail_pass)

mail.sendmail(me,shoujian, msg.as_string())

mail.close()

print u"send mail success!"

except Exception, e:

print str(e)

print u"send mail exit!"

run.py如下：

-- coding: utf-8 --

import spiders

#开始第一个爬虫

spiders.start()

settings.py如下：

coding:utf-8

import re,sys,os,requests,lxml,string,time,random,logging

from bs4 import BeautifulSoup

from lxml import etree

import smtplib

from email.mime.text import MIMEText

import sqlite3

import HTMLParser

#刷新系统

reload(sys)

sys.setdefaultencoding( "utf-8" )

#定义当前时间

#now = time.strftime( '%Y-%m-%d %X',time.localtime())

#设置头信息

headers={ "User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36",

"Accept":"/",

"Accept-Language":"zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",

"Accept-Encoding":"gzip, deflate",

"Content-Type":"application/x-www-form-urlencoded; charset=UTF-8",

"Connection":"keep-alive",

"X-Requested-With":"XMLHttpRequest",

}

domain = u"北京软件外包".decode("string_escape") #要替换的超链接

html_parser = HTMLParser.HTMLParser() #生成转义器

########################################################dede参数配置

#定义域名

domain = "http://127.0.0.2/"

admin_dir = "dede/"

houtai = domain + admin_dir

username = "admin"

password = "admin"

#访问登陆接口保持cookies

sid = requests.session()

login_url = houtai + "index.php?username=" + username + "&password=" + password

header = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0",

"Referer" : domain

}

#登陆接口获取Cookies

loadcookies = sid.get(url = login_url,headers = header)

#定义固定字段

article = {

'channelid':1, #普通文章提交

'dopost':'save', #提交方式

'shorttitle':'', #短标题

'autokey':1, #自动获取关键词

'remote':1, #不指定缩略图,远程自动获取缩略图

'autolitpic':1, #提取第一个图片为缩略图

'sptype':'auto', #自动分页

'spsize':5, #5k大小自动分页

'notpost':1, #禁止评论

'sortup':0, #文章排序、默认

'arcrank':0, #阅读权限为开放浏览

'money': 0,#消费金币0

'ishtml':1, #生成html

'click':random.randint(10, 300), #随机生成文章点击量

'pubdate':time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), #s生成当前提交时间

}

#定义可变字段

article['source'] = "文章来源" #文章来源

article['writer'] = "文章作者" #文章作者

#定义提交文章请求URL

article_request = houtai + "article_add.php"

########################################################数据库配置

#建立数据库连接

conn = sqlite3.connect("db.dll")

#创建游标

cur = conn.cursor()

spiders.py如下：

coding:utf-8

from settings import from function import

#获取内容, 文章url,文章内容xpath表达式

def get_content( url = "http://www.zhongkerd.com/news/content-1389.html" , xpath_rule = "//html/body/div[3]/div/div[2]/div/div[2]/div/div[1]/div/div/dl/dd" ):

html = requests.get(url,headers = headers).content

tree = etree.HTML(html)

res = tree .xpath(xpath_rule)[0]

res_content = etree.tostring(res) #转为字符串

res_content = html_parser.unescape(res_content) #转为html编码 输出

res_content = res_content.replace('\t','').replace('\n','') #去除空格 .replace(' ','')，换行符，制表符

return res_content

#获取结果,url列表

def get_article_list(url = "http://www.zhongkerd.com/news.html" ):

body_html = requests.get(url,headers = headers).content

#print body_html

soup = BeautifulSoup(body_html,'lxml')

page_div = soup.findall(name = "a",href = re.compile("content"),class="w-bloglist-entry-link")

#print page_div

list_url = []

for a in page_div:

#print a

#print a.get('href')

#print a.string

list_url.append((a.get('href'),a.string))

#print get_content(a.get('href'))

else:

#print list_url

return list_url

#处理采集页面

def res_content(url):

content = get_content(url)

#print content

info = re.findall(r'

(.*?)',content,re.S)[0] #去掉dd标签

re_zhushi = re.compile(r'') #HTML注释

re_href = re.compile(r']*>[^') #去出超链接,替换

re_js = re.compile(r']*>[^') #去出 javascript

re_copyright = re.compile(r'

(.*?)

') #去出 版权信息 #r'

' 注意处理换行要

info = re_zhushi.sub('',info,re.S)

info = re_href.sub(domain,info,re.S)

#print content

#exit()

info = re_copyright.sub(u"",info,re.S)

info = info.replace(u'\xa0', u' ') #防止gbk转btf输出错误

#print info

return info

#处理结果

def caiji_result():

article_list = get_article_list()

#print article_list

#判断是否数据库中是否有，是否写入数据库

for article in article_list:

#print res_check(article)

#判断是否需要写入

if not res_check(article):

#print "no" #u"不存在需要写入"

res_insert(article)

#写入后需要发布文章

body = res_content(article[0])

send_article(title = article[1],body = body)

else:

#print "yes" #u"已经存在不需要写入"

pass

#爬虫调用函数

def start():

caiji_result()

__init__.py用于发布模块时用。

写完了、是不是发现和scrapy基础功能有点像呢。。。

凌沦
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫将爬取的图片写入world文档
he_string的博客
11-19 1万+
作为初学爬虫的我，无论是爬取文字还是图片，都可以游刃有余的做到，但是爬虫所爬取的内容往往不是单独的图片或者文字，于是我就想是否可以将图片保存至world文档里
app采集的10个经典方法
m0_60197304的博客
07-21 7531
app采集的抓取数据、app抓包、网页爬虫、采集网站数据、app数据采集软件、python爬虫、HTM网页提取、APP数据抓包、APP数据采集、一站式网站采集技术、BI数据的数据分析、数据标注等成为大数据发展中的热门技术关键词。那么app采集数据的方法有哪些呢？我给大家分享一下，我爬虫的个人经验，我们在采集类似app采集网站数据的时候会遇到什么技术问题，然后再根据这些问题给大家分享采集方案. 写爬虫采集网站之前： 为什么经常听到有些网站的域名被劫持、服务器被黑客攻击、数据库被盗等 大家平时登录一个网站，
python爬虫入库到帝国cms_帝国CMS利用七牛云存储加速网站附件的方法
weixin_39704374的博客
12-12 230
七牛云存储是由初创企业七牛公司提供的一款在线云存储服务，专注于以数据为核心的云计算业务，可实现网站的全网CDN加速服务，多数据中心+多加速节点，上传下载均加速、镜像存储、持续在线，可以无限扩展、用户只需按需付费，无硬件投资。目前新注册的用户可永久获得免费额度：存储空间10G+HTTP下载流量(国内/国外)各10G+API请求(10万PUT/100万GET)注册地址：https://portal.q...
python爬虫scrapy框架爬取网页数据_Python爬虫神器scrapy框架爬取博客园Python相关40W博客！...
weixin_39578197的博客
11-21 109
经常看博客的同志知道，博客园每个栏目下面有200页，多了的数据他就不显示了，最多显示4000篇博客如何尽可能多的得到博客数据，是这篇文章研究的一点点核心内容，能√get到多少就看你的了~单纯的从每个栏目去爬取是不显示的，转换一下思路，看到搜索页面，有时间~，有时间！注意看URL链接https://zzk.cnblogs.com/s/blogpost?Keywords=python&datetime...
python爬虫入库到帝国cms_【Python爬虫】数据入库之MongoDB
weixin_39955732的博客
12-08 294
1、什么是MongoDBMongoDB是一个高性能，开源，无模式的文档型数据库，将数据存储为一个文档，数据结构由键值对(key->value)组成2、 MongoDB相关的安装Windows的安装方法：1、详见知乎专栏MongoDB及可视化工具的安装，可按照步骤安装并测试连接2、安装MongoDB的第三方库pymongopip install pymongoMac OS的安装方法：1、参考M...
爬虫示例网站.zip_python 练习_python爬虫_usualksy_爬虫_爬虫 练习网站
07-15
python 爬虫实例网站，可以练习爬虫
用Python写网络爬虫.rar_Python项目_python_python网络爬虫_爬虫_爬虫教程
07-15
Python爬虫教程及项目实战，你值得拥有。
Python_爬虫_新闻采集_
10-01
采集###学校2020年1月1日到5月31日之间的所有新闻文字，然后实现：1）统计每个月出现次数最多的前10个词，分别生成柱状图显示每个词出现的次数，每个月保存为一个图片文件，以月份命名；2）统计这段时间所有新闻中...
【定制开发】【M5】Python爬虫 - 获取【一品威客】最新发布需求，并实时通知用户
YYDataV的博客
07-06 1584
背景 有个朋友计划拓展业务渠道，准备在众包平台猪八戒上接单，他的主营产品是微信小程序，因此他想第一时间收到客户发出的需求信息，然后第一时间联系客户，这样成交率才能够得到保障，否则单早都被其他同行接完了，他的黄花菜也就都凉了。 开发环境 开发语言 Python ，开发架构Scrapy，非 Python 莫属，数据采集的神器！ 开发工具 PyCharm; 功能设计 实时通知：采用发邮件方式通知，将邮箱绑定到微信，实现实时通知的效果。 过滤模块：根据标题和内容双重过滤关键词，不符合要求的订单丢弃.
一个采集邮箱的网络爬虫（听毕老师讲的）
weixin_30839881的博客
11-19 193
public class NetSplider { /** * @param args * @throws IOException */ public static void main(String[] args) throws IOException { /** * 网络爬虫:根据一定的规则从网络源或者本地源寻找并挖掘与规则相匹配的数据 1,读取文件，通过本...
取消DEDE织梦缩略图水印的方法
企业级技术与网站app运营
08-21 1089
最近群里的一位朋友询问如何取消DedeCMS的缩略图的“图片水印”呢？原因是他发现在后台设置选项里的“添加水印的图片大小控制”根本不起作用，导致缩略图也被加上水印，效果很难看，现在告诉你DedeCMS V5.6缩略图不加水印的方法技巧! 修改DedeCMS程序里的dede/inc/inc_archives_functi*****.php 文件 (dede为后台默认路径)  查找到：
从python脚本爬取快递100认知csrftoken
weixin_43868179的博客
07-01 2968
（1）首先登录快递100首页，此时先看下获取到的cookies，稍后会用到 （2）找到获取快递公司名称的异步请求 （3）找到获取快递信息的请求（此处是难点），先查看请求参数，type是上一步获取到的快递公司名，postid是快递单号，temp推测是随机数，phone不用填写 根据我上一篇博客来到对应的参数计算公式https://blog.csdn.net/weixin_43868179/artic...
前端学习笔记
命运的羁绊的博客
07-21 574
前端 HTML <!-- 内容 --> <!DOCTYPE html><!--DOCTYPE:告诉浏览器的规范--> <html lang="en"> <!--head标签代表网页头部--> <head> <!--meta用来描述网站的一些信息，用来做SEO--> <meta charset="UTF-8"> <meta name = "keywords" content="小康，小
python爬虫笔记第三章
weixin_46501211的博客
04-02 436
前言 你好！ 这是基于b站2021年路飞学成爬虫教程的python爬虫学习笔记，主要是方便作者复习和回顾课程内容。 已经发布了第一章和第二章，可以在主页中查看。 第三章前言01 requests进阶概述02 模拟用户登录——处理cookie 01 requests进阶概述 我们在之前的爬⾍中其实已经使⽤过headers了. header为HTTP协议中的请求头. ⼀般存放⼀些和请求内容⽆关的数据. 有时也会存放⼀些安全验证信息.⽐如常⻅的User-Agent, token, cookie等.通过reques
js逆向笔记_2_验证码识别
HURUWO的技术博客
10-25 550
逆向目标 关于前面空中网的逆向 出现的验证码 验证码生成地址 GET https://sso.kongzhong.com/createVCode?w=80&h=30&0.7823567033380769 HTTP/1.1 Host: sso.kongzhong.com Connection: keep-alive sec-ch-ua: "Google Chrome";v="89", "Chromium";v="89", ";Not A Brand";v="99" sec-ch-ua-
全智能自动配置采集规则（只需输入采集网址）
keydatas的博客
12-07 374
简数采集器支持全智能配置采集规则： 1. 不用手写规则，不用研究网页源代码； 2. 仅需输入一个URL就能完成采集规则配置，简单高效！ 3. 系统会自动智能识别数据和采集规则；
python贴吧自动发帖-Python之自动发帖
weixin_37988176的博客
11-01 972
importrequestsimportjsonimporttimefor i in range(10000):　　　　#该程序循环一万次，爽不爽headers={'Accept': 'application/json','mocuzauth': 'a56bx5bIICVEo+I6pVN6SQGQoTkrRg9AJMYmRxp5pmZsm+LJ6CoX3FmIOJmHFWqma8HDEaKQwH7...
python自动生成c代码_CAN模块的自动代码生成（Python实现）（1）介绍
最新发布
06-04
这是一个基于Python语言实现的CAN模块自动生成C代码的工具。通过该工具，用户可以快速生成符合CAN协议要求的C语言代码，方便开发人员进行CAN通信相关的开发工作。 该工具主要实现了以下功能： 1. 自动生成CAN通信相关的C语言代码，包括CAN初始化、发送数据、接收数据等代码； 2. 自动生成CAN消息的数据结构体，方便用户进行数据处理； 3. 自动生成CAN消息的ID和数据长度检查代码，确保发送和接收的数据符合CAN协议要求； 4. 自动生成CAN错误处理代码，确保CAN通信的可靠性。 使用该工具可以大大提高开发效率，减少开发人员的工作量，同时保证CAN通信的稳定性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值