分享116个PHP源码，总有一款适合您

最新推荐文章于 2023-01-19 22:18:11 发布

灬沙海灬

最新推荐文章于 2023-01-19 22:18:11 发布

阅读量962

点赞数

分类专栏： PHP 文章标签： php python 爬虫

本文链接：https://blog.csdn.net/adendean/article/details/128715744

版权

PHP 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

PHP源码

分享116个PHP源码，总有一款适合您

116个PHP源码链接：https://pan.baidu.com/s/1dsupZiZbKqvHPmlpIAgWqA?pwd=g52q

提取码：g52q

import os
import shutil
import time
from time import sleep

import requests
from bs4 import BeautifulSoup
from docx import Document
from docx.shared import Inches

from framework.base.BaseFrame import BaseFrame
from sprider.business.DownLoad import DownLoad
from sprider.business.SeleniumTools import SeleniumTools
from sprider.business.SpriderTools import SpriderTools

from selenium import webdriver
from selenium.webdriver.common.by import By
from sprider.model.SpriderEntity import SpriderEntity
from sprider.access.SpriderAccess import SpriderAccess


class HuaJunCode:
    base_url =  "https://down.chinaz.com" # 采集的网址
    save_path = "D:\\Freedom\\Sprider\\ChinaZ\\"
    sprider_count = 126  # 采集数量

    sprider_start_count=3999 # 从第几个序号开始 直接改数量即可 会做除法操作正 正在采集第32页的第16个资源 debug

    word_content_list = []
    folder_name = ""
    page_end_number=0
    max_pager=15 #每页的数量
    haved_sprider_count =0  # 已经采集的数量
    page_count = 1  # 每个栏目开始业务content="text/html; charset=gb2312"

    def __init__(self):
        pass

    def sprider(self,title_name="NET"):

        """
       采集 https://down.chinaz.com/class/572_5_1.htm
       NET https://down.chinaz.com/class/572_4_1.htm
       :return:
       """
        if title_name == "PHP":
            self.folder_name = "PHP源码"
            self.second_column_name = "572_5"
        elif title_name == "Go":
            self.folder_name = "Go源码"
            self.second_column_name = "606_572"
        elif title_name == "NET":
            self.folder_name = "NET源码"
            self.second_column_name = "572_4"
        first_column_name = title_name # 一级目录
        second_folder_name = str(self.sprider_count) + "个" + self.folder_name #二级目录

        merchant=int(self.sprider_start_count) //int(self.max_pager)+1 #起始页码用于效率采集
        self.file_path = self.save_path + os.sep + "Code" + os.sep + first_column_name + os.sep + second_folder_name
        self.save_path = self.save_path+ os.sep + "Code" + os.sep+first_column_name+os.sep + second_folder_name+ os.sep + self.folder_name
        BaseFrame().debug("开始采集ChinaZCode"+self.folder_name+"...")
        sprider_url = (self.base_url + "/class/{0}_1.htm".format(self.second_column_name))
        down_path="D:\\Freedom\\Sprider\\ChinaZ\\Code\\"+first_column_name+"\\"+second_folder_name+"\\Temp\\"
        if os.path.exists(down_path) is True:
            shutil.rmtree(down_path)
        if os.path.exists(down_path) is False:
            os.makedirs(down_path)

        if os.path.exists(self.save_path ) is True:
            shutil.rmtree(self.save_path )
        if os.path.exists(self.save_path ) is False:
            os.makedirs(self.save_path )
        chrome_options = webdriver.ChromeOptions()
        diy_prefs ={'profile.default_content_settings.popups': 0,
                    'download.default_directory':'{0}'.format(down_path)}
        # 添加路径到selenium配置中
        chrome_options.add_experimental_option('prefs', diy_prefs)
        #chrome_options.add_argument('--headless') #隐藏浏览器

        # 实例化chrome浏览器时，关联忽略证书错误
        driver = webdriver.Chrome(options=chrome_options)
        driver.set_window_size(1280, 800)  # 分辨率 1280*800

        # driver.get方法将定位在给定的URL的网页，get接受url可以是任何网址，此处以百度为例
        driver.get(sprider_url)
        # content = driver.page_source
        # print(content)
        div_elem = driver.find_element(By.CLASS_NAME, "main")  # 列表页面 核心内容
        element_list = div_elem.find_elements(By.CLASS_NAME, 'item')

        laster_pager_ul = driver.find_element(By.CLASS_NAME, "el-pager")
        laster_pager_li =laster_pager_ul.find_elements(By.CLASS_NAME, 'number')
        laster_pager_url = laster_pager_li[len(laster_pager_li) - 1]
        page_end_number = int(laster_pager_url.text)
        self.page_count=merchant
        while self.page_count <= int(page_end_number):  # 翻完停止
            try:
                if self.page_count == 1:
                    self.sprider_detail(driver,element_list,self.page_count,page_end_number,down_path)
                    pass
                else:
                    if self.haved_sprider_count == self.sprider_count:
                        BaseFrame().debug("采集到达数量采集停止...")
                        BaseFrame().debug("开始写文章...")
                        self.builder_word(self.folder_name, self.save_path, self.word_content_list)
                        BaseFrame().debug("文件编写完毕，请到对应的磁盘查看word文件和下载文件！")
                        break
                    #(self.base_url + "/sort/{0}/{1}/".format(url_index, self.page_count))
                    #http://soft.onlinedown.net/sort/177/2/

                    next_url = self.base_url + "/class/{0}_{1}.htm".format(self.second_column_name, self.page_count)
                    driver.get(next_url)

                    div_elem = driver.find_element(By.CLASS_NAME, "main")  # 列表页面 核心内容
                    element_list = div_elem.find_elements(By.CLASS_NAME, 'item')
                    self.sprider_detail( driver, element_list, self.page_count, page_end_number, down_path)
                    pass
                #print(self.page_count)
                self.page_count = self.page_count + 1  # 页码增加1
            except Exception as e:
                print("sprider()执行过程出现错误:" + str(e))
                sleep(10)

下面是文件的名字，我放了一些图片，文章里不是所有的图主要是放不下...，大家下载后可以看到。

PHPWind v8.5 GBK build 0524
ThinkSAAS开源小组仿豆瓣小组 v0.75
Clip Bucket v2.4.5 rc3
PTCMS游戏下载小偷 v1.0
支付宝快登ECSHOP支付宝用插件 utf8
WP e-Commerce v3.8.3
Simple-Log v1.3.1 build 20110511
齐博CMS(原PHP168 v系列) v7.0 正式版 GBK
齐博CMS(原PHP168 v系列) v7.0 正式版 utf8
PHPMaos小说采集系统 v3.0 build 0508
淘宝画报小偷 v2.2
UCenter v1.6 简体GBK build 20110505
图片上传(漠岚修改版) v1.01
GForge v5.7.1
PhpSou搜索引擎 v1.1 GBK体验版 (整合sphinx)
IrisMVC v1.0
XPCMS v2.0
红茶巴士QQ登录插件 v1.0
Ariadne v2.7.5
WLS 在线考试学习系统 v2.75
114la_To_DiscuzX1.5网址导航完美整合版 v20110407 UTF8版
114la_To_DiscuzX1.5网址导航完美整合版 v20110407 GBK版
Redaxscript v0.3.2a 多国语言版
Phpgrid v3.0 Beta
OpenNetAdmin主机管理系统 v11.02.10
NetworX Social v1.0.4
OpenPNE中文 v2.12.5 for linux
天天团购系统 v1.3.6 Build 20110328
PHPMyAccess v1.5.2
phpsqlitecms v2.0.4
Mihalism多用户图片共享系统 v5.0.2
ITool快递查询系统免费版 build 20110308
凌讯php学校管理系统 v1.2
图片裁剪网 v1.0
jCart v1.3
Chevereto v1.91
BlogCMS v4.2.1.f
业务文件管理系统 v1.0 测试版
bug反馈系统(BugCheck) v0.8
flash小游戏站源码(快乐小游戏) v2.0
php+mysql仿培训通开源程序
小团团购导航 v1.02 beta 2
思维空间PHP分页类 v1.3
讯腾短信群发系统 v2011
小说模块Novel For_DiscuzX1.5 v1.0 GBK build 20110107
24点网ip地址查询系统 v1.0
无觅相关文章插件 v1.0.4.7
Saion 在线安装插件平台Discuz!X1.5 Beta 2011-1
搜几下搜索引擎集合 v1.0
酷搜小说采集程序 v3.16
L搜搜索引擎小偷 v1.2
FastCGI邓州博客系统 v2.0
Gart v1.3 gbk build 20101226
仿XP界面 v1.0
邓州PHP简单留言本 v1.0
幸运28 v1.1
问答吧(自带伪原创引擎的问问小偷) v1.01
Ajax 大事记(PHP+jQuery)数据库版 v1.0
圣诞祝福 v1.0 For DiscuzX1.5插件
安徽一百度PR查询页面 v1.5
科威网址导航系统 v5.5 GBK
yycms 基于php+mysql的小型后台系统 v1.0
煮米团免费团购系统 v1.1
Animation Online System 彩字生成系统 v1.0 beta
nbs博客系统 v1.0
CMS盒子工作室网站 v1.0
深圳二手信息网 (带整站1万6数据) v2.0
验证通2010示例 PHP版 v3.0
LUOCRM客户关系管理系统 v1.0
ABC网络硬盘带提取码PHP版 v1.9 unix优化版
LANUX蓝脑商务网站系统 v1.0
有一导航 v2.1
健康问答小偷天宇免费版 v1.0
泡泡留言板测试版
五维网址导航 v7.3 UTF8
五维网址导航 v7.3 GBK
简单内容管理系统kencms v1.0 beta
PHPK留言墙仿QQ爱墙 v1.1
Socialengine 的日志插件 v3.20
易通免费企业CMS本机测试环境包 v3.5
百乐小说小偷 v1.0
PrestaShop中国版 v1.3.2.3
标准化企业内容管理系统(SpeedCMS) v0.1.5 beta
54dev-blog v0.1
PcHouse家居问答小偷 v1.0
商易网店统计系统ECSTAT v1.1开源版
YOURLS v1.5
eTopEIMS v0.1
百度知道小偷天宇版 v4.0 试用版
3xdoing留言板 v1.0.0
DYHB-blog v1.4 正式版
360软件小偷 v1.0
必应bing网页搜索小偷php程序 v1.0
WskmPHP开发框架 v0.1
Zen Cart v1.3.9h 英文版
web@all v1.1 多语言版
手机电子书下载小偷 v1.1
IP查询程序 v3.0
FPS88 FILE System v3.0 Beta
最新谷姐网聚合搜索源代码 v4.0
php在线翻译类(Google Translate API For PHP) v1.0.1
AnyphpMvc(PHP框架) v1.2
百度关键字排名查询记录系统 v1.0
凌讯php投票程序 v1.0
织梦CMS-淘宝客合作版整站系统 v2.1 Final
织梦CMS-淘宝客合作版织梦模块 v2.1 Final GBK
织梦CMS-淘宝客合作版织梦模块 v2.1 Final UTF8
xqcms简单实用的企业建站cms v3.1
zvchat v2.1.6 Alpha