python爬虫

最新推荐文章于 2024-07-19 03:57:34 发布
最新推荐文章于 2024-07-19 03:57:34 发布
阅读量277 收藏
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heqiang1995/article/details/105558771
版权

sed -i -e 's/\r$//'  install_python.sh  windwos编码转linux

sudo !! 获取root权限

阿里云的rpm
http://mirrors.aliyun.com/centos/7/os/x86_64/Packages/
缓存rpm文件解决依赖  下载rpm文件离线安装
https://www.cnblogs.com/nmap/p/9511848.html

sudo rpm -Uvh ./gcc/*.rpm --nodeps --force   强制安装

sudo !! root权限
./configure --prefix=/usr 指定路径
make Makefile编译 gcc
make install 安装  make uninstall 是卸载
CC是gcc的连接，gcc是编译器 gcc包含很多编译器(C, C++, Objective-C, Ada, Fortran,and 　 Java)

第一版本

#!/bin/sh
#!/bin/bash
#用python3.8.2  windwos脚本和linux脚本编码不一样
echo "定义参数"
python_path="/opt/python/"
sh_path="/opt/nssa/"

sudo rpm -Uvh ./python/rpm/*.rpm --nodeps --force

if [ -d $python_path ]; then
    sudo rm -rf $python_path
fi
sudo tar -xvf ./python/Python-v3.8.2.tgz
sudo mv Python-3.8.2 /opt
sudo mv /opt/Python-3.8.2 /opt/python

sudo cp -r ./python/packages ${python_path}
sudo cp ./python/requirements.txt ${python_path}

if [ -d /opt/python3 ]; then
    sudo rm -rf /opt/python3
fi

#中间临时文件加权限
sudo mkdir /opt/python3
sudo chmod 777 -R /opt/python3/*
sudo chmod 777 -R /opt/python/*

cd $python_path
sudo ./configure --prefix=/opt/python3
sudo chmod 777 -R /opt/python3/*
sudo chmod 777 -R /opt/python/*
sudo make 
sudo chmod 777 -R /opt/python3/*
sudo chmod 777 -R /opt/python/*
sudo make install

#软连接
sudo rm -rf /usr/bin/python3
sudo rm -rf /usr/bin/pip3 
sudo ln -s /opt/python3/bin/python3.8 /usr/bin/python3
sudo ln -s /opt/python3/bin/pip3.8 /usr/bin/pip3
#安装第三方库
sudo pip3 install --no-index --find-links=$python_path/packages -r $python_path/requirements.txt
cd $sh_path
sudo python3 CNVD.py >/dev/null 2>&1 &

第二版本

#!/bin/sh
#!/bin/bash
#用python3.8.2  windwos脚本和linux脚本编码不一样
echo "定义参数"
python_path="/opt/python/"
sh_path="/opt/nssa/"

if [ -d $python_path ]; then
    sudo rm -rf $python_path
fi

sudo tar -xvf ./python/Python-v3.8.2.tgz
sudo mv Python-3.8.2 /opt
sudo mv /opt/Python-3.8.2 /opt/python

sudo cp -r ./python/packages ${python_path}
sudo cp ./python/requirements.txt ${python_path}

cd $python_path
./configure --prefix=/usr/local/python3
sudo make && make install
#软连接
sudo rm -rf /usr/bin/python3
sudo rm -rf /usr/bin/pip3 
sudo ln -s /usr/local/python3/bin/python3.8 /usr/bin/python3
sudo ln -s /usr/local/python3/bin/pip3.8 /usr/bin/pip3
#安装第三方库 pip3 list查看第三方   pip3 show requests版本和安装位置  
#离线 pip3 freeze > requirements.txt   离线安装 pip3 install --no-index --find-links=DIR -r requirements.txt
#打包也需要切源pip3 download -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -d DIR -r requirements.txt
#sudo pip3 install requests -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#sudo pip3 install beautifulsoup4 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#sudo pip3 install lxml  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#sudo pip3 install pymysql  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
sudo pip3 install --no-index --find-links=${python_path}packages -r ${python_path}requirements.txt
cd $sh_path
sudo python3 CNVD.py


import requests
from bs4 import BeautifulSoup
import time
import pymysql
#mysql配置
hosts='XXXX'
ports=XXXX
users='XXXX'
passwds='XXXX'
dbs='XXXX'

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}
ur = ['29','32','28','27','30','31']
#国家信息安全漏洞共享平台
urli = "https://www.cnvd.org.cn/flaw/typeResult?typeId=";
urlii = "https://www.cnvd.org.cn"

def main():
    for u in ur:
        url = urli+u
        getDataByurl(url)
        
def getDataByurl(url):
    response = requests.get(url=url,headers=headers)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'lxml')
    href = soup.find_all('a')
    for h in href:
        try:
            time.sleep(10);#反爬虫检测机制
            urll = urlii+h.get('href')
            response1 = requests.get(url=urll,headers=headers)
            response1.encoding = 'utf-8'
            soup1 = BeautifulSoup(response1.text, 'lxml')
            title = soup1.find('h1').text
            urlll = urll
            all = soup1.find('table',class_="gg_detail").select('td')
            date = all[3].get_text().strip()
            level = all[5].get_text().strip()[0]
            product = all[7].get_text().strip()
            hole = all[9].get_text().strip()
            func = all[15].get_text().strip()
            patch =  all[17].get_text().strip()
            sql = "INSERT into reptile (url,title, date,`level`,product,hole,func,patch) values ('"+urlll+"','"+title+"','"+date+"','"+level+"','"+product+"','"+hole+"','"+func+"','"+patch+"');"
            query(sql)
        except Exception as e:
            print('error')
        finally:
       
        
def query(sql):
    #参数 charset='utf8mb4' 
    conn = pymysql.connect(host=hosts, port=ports, user=users, passwd=passwds, db=dbs)
    cur = conn.cursor()
    reCount = cur.execute(sql)
    conn.commit(); 
    cur.close();
    conn.close();

if __name__ == '__main__':
    main();
    
    
#href = soup.find_all('a',class_="current")
# li = soup.find('li')
# print('find_li:',li)
# print('li.text(返回标签的内容):',li.text)
# print('li.attrs(返回标签的属性):',li.attrs)
# print('li.string(返回标签内容为字符串):',li.string)
# 常用通过find_all()方法来查找标签元素：<>.find_all(name, attrs, recursive, string, **kwargs) ，返回一个列表类型，存储查找的结果 

# • name：对标签名称的检索字符串
# • attrs：对标签属性值的检索字符串，可标注属性检索
# • recursive：是否对子孙全部检索，默认True
# • string：<>…</>中字符串区域的检索字符串

# soup = BeautifulSoup(html, 'lxml') 
# print(type(soup.select('title'))) 
# print(soup.select('title')[0].get_text()) 
# for title in soup.select('title'):     
# print(title.get_text()) 
 

 

完美循环

# _*_ coding:utf-8 _*_
#安装python3.5
#tar -zxvf Python-3.5.1.tar
#cd Python-3.5.1
# ./configure --prefix=/usr/local/python3
# make && make install
#软连接
# ln -s /usr/local/python3/bin/python3.5 /usr/bin/python3
# ln -s /usr/local/python3/bin/pip3.5 /usr/bin/pip3
#依赖包
#yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

#运行需要用python3 和pip3

#安装  源换成阿里的  #必须用pip3
#pip3 install selenium -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install requests -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install beautifulsoup4 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install lxml  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install pymysql  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

#报错HTTPSConnectionPool(host='www.cnvd.org.cn', port=443): Max retries exceeded with url: /flaw/show/CNVD-2020-45316
#pip3 install cryptography  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install pyOpenSSL  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#pip3 install certifi  -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
import requests
from bs4 import BeautifulSoup
import time
import pymysql
#mysql配置
hosts='xx'
ports=3306
users='xxxx'
passwds='xxxx!'
dbs='xxxx'

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',
'Connection':'close'}
ur = ['29','32','28','27','30','31']
#国家信息安全漏洞共享平台
urli = "https://www.cnvd.org.cn/flaw/typeResult?typeId=";
urlii = "https://www.cnvd.org.cn"

def main():
    for u in ur:
        url = urli+u
        getDataByurl(url)
        
def getDataByurl(url):
    response = requests.get(url=url,headers=headers,verify=False)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'lxml')
    href = soup.find_all('a')
#    print(href)
    for h in href:
        try:
            time.sleep(20);#反爬虫检测机制
            urll = urlii+h.get('href')
            print(urll)
            
            find1 = "offset"
            page = find1 in urll
            if page:
                response1 = requests.get(url=urll,headers=headers,verify=False)
                response1.encoding = 'utf-8'
                soup1 = BeautifulSoup(response1.text, 'lxml')
#                print(response1.text)
                
                href1 = soup1.find_all('a')
#                print(href1)
                for hh in href1:
                    try:
                        time.sleep(20);#反爬虫检测机制
                        url2 = urlii+hh.get('href')
                        print(url2)
                        # TODO 增加连接重试次数
                        requests.adapters.DEFAULT_RETRIES = 5
                        response2 = requests.get(url=url2,headers=headers,verify=False)
                        response2.encoding = 'utf-8'
                        soup2 = BeautifulSoup(response2.text, 'lxml')
#                        print(response2.text)
                        title = soup2.find('h1').text
                        urlll = url2
                        all = soup2.find('table',class_="gg_detail").select('td')
                        date = all[3].get_text().strip()
                        level = all[5].get_text().strip()[0]
                        product = all[7].get_text().strip()
                        hole = all[9].get_text().strip()
                        func = all[15].get_text().strip()
                        patch =  all[17].get_text().strip()
                        sql = "INSERT into reptile (url,title, date,`level`,product,hole,func,patch) values ('"+urlll+"','"+title+"','"+date+"','"+level+"','"+product+"','"+hole+"','"+func+"','"+patch+"');"
                        print(sql)
                        query(sql)
                    except Exception as e:
                        print('error 2')
                        print(e)
            else:
                # TODO 增加连接重试次数
                requests.adapters.DEFAULT_RETRIES = 5
                response1 = requests.get(url=urll,headers=headers,verify=False)
                response1.encoding = 'utf-8'
                soup1 = BeautifulSoup(response1.text, 'lxml')
#                print(response1.text)
                title = soup1.find('h1').text
                urlll = urll
                all = soup1.find('table',class_="gg_detail").select('td')
                date = all[3].get_text().strip()
                level = all[5].get_text().strip()[0]
                product = all[7].get_text().strip()
                hole = all[9].get_text().strip()
                func = all[15].get_text().strip()
                patch =  all[17].get_text().strip()
                sql = "INSERT into reptile (url,title, date,`level`,product,hole,func,patch) values ('"+urlll+"','"+title+"','"+date+"','"+level+"','"+product+"','"+hole+"','"+func+"','"+patch+"');"
                print(sql)
                query(sql)
        except Exception as e:
            print('error 1')
            print(e)
       
def query(sql):
    #参数 charset='utf8mb4' 
    try:
        print(33333)
        conn = pymysql.connect(host=hosts, port=ports, user=users, passwd=passwds, db=dbs)
        print(4444)
        cur = conn.cursor()
        print(5555)
        reCount = cur.execute(sql)
        print(6666)
        conn.commit(); 
        print(7777)
        cur.close();
        conn.close();
    except Exception as e:
           print('error 3')
           print(e)

if __name__ == '__main__':
    main();
 

跟着爸爸走
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 爬虫
cuicui_ruirui的博客
03-25 1256
一、为什么要爬虫 90%的数据不在我们的数据库里，散落在网络世界，以网页资料形式呈现，即为非结构化数据，他们没有固定的数据格式，必须通过ETL（Extract，Transformation，Loading）工具将数据转化为结构化数据才能取用 二、ETL E：Extract，数据抽取 （原始资料，Raw Data） T：Transformation：数据转化 （利用ETL脚本） ...
004 - rpm安装python包和所有依赖包
weixin_49908963的博客
07-12 5028
依赖包下载网址：https://centos.pkgs.org/
python arm64 rpm包下载
最新发布
weixin_42019322的博客
07-19 67
python相关学习资料：GitLabCI/CD-pending的原因美国禁用中国大学MATLAB快四年，国产替代完成了吗？一张图生成指定动作的动态视频,Magic Animate本地部署如何下载Python ARM64 RPM包 作为一名刚入行的开发者，你可能会遇到需要下载Python ARM64 RPM包的情况。...
python官网怎么下载安装包,python官网下载步骤图解
YYmmsss的博客
01-22 1093
打开官网，进入页面后点击导航中的Downloads进入下载页面Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）
python3、pip3、flask库
11-09
离线环境下安装python3及flask库。
Python爬虫框架Scrapy教程 完整版PDF
04-06
《Python爬虫框架Scrapy教程》主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，本文档详细介绍了scrapy爬虫和其他爬虫技术的...
python爬虫课件+代码.zip
07-25
Python爬虫技术是一种用于自动化网络数据获取的编程技术，它在大数据分析、网站维护、市场研究等领域具有广泛应用。本课程由“路飞学城樵夫”老师指导，通过实际操作帮助学习者掌握Python爬虫的基本原理和实战技巧。...
python爬虫从入门到精通（模块）
03-17
这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
Centos7-python3.6.8-离线rpm包
01-08
centos7 离线安装python 3.6.8的RPM包，解压之后直接rpm -Uvh ./*.rpm --nodeps --force安装即可
python2.6和yum所需要用到的所有rpm包
08-05
这是完全重新安装python2.6和yum所需要用到的所有rpm包。
Python爬虫教学视频-最全的Python爬虫视频教程全集
09-12
本Python爬虫教学视频，全集共51天课程，整套课程以Python语言为核心，通过各种经典案例的讲解，很好的演示了python爬虫如何抓取数据的全过程，非常值得Python爬虫工程师和想掌握python爬虫技术的同学借鉴学习。...
81个Python爬虫源代码
12-13
81个Python爬虫源代码，内容包含新闻、视频、中介、招聘、图片资源等网站的爬虫资源
银河麒麟服务器安装pyqt5总结
莎拉拉吗酷奇的博客
04-02 3143
使用V10-SP2-0524-x86服务器进行pyqt5安装， 安装pip3工具，并使用豆瓣源进行安装。直接安装成功了。 yum install python3-pip pip3 install pyqt5 -i https://pypi/doubanio.com/simple 使用V10-SP1-0518-x86服务器进行pyqt5安装， 安装pip3工具，并使用豆瓣源进行安装。安装失败。 尝试从SP2上将pyqt5 whl包下载手动安装依然报错，报错和上面一样是没有匹配的pyqt5-qt5包。 #
Python获取rpm包基本信息[import rpm]
kanwoerzi
10-23 814
在进行测试之前，必须先检查开发的rpm包数据 包括安装目录，权限，文件结构，是否包含某些文件等信息 写了个脚本自动化 python的rpm包，在网上资料实在不多，时间仓促，也就简单看了下 首先，import import rpm 获取hdr def get_hdr(rpmPath): ts = rpm.ts() try: fdno = os.ope...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值