分享66个ASP其他类别源码,总有一款适合您

分享66个ASP其他类别源码,总有一款适合您
 

66个ASP其他类别源码下载链接:https://pan.baidu.com/s/1lMk6UqYO72pGWY0JgKUq9w?pwd=bzhd
提取码:bzhd

Python采集代码下载链接:采集代码.zip - 蓝奏云

我的博客地址:亚丁号-知识付费平台 支付后可见 扫码付费可见

import os
import shutil

import requests
from bs4 import BeautifulSoup

from framework.base.BaseFrame import BaseFrame
from sprider.access.SpriderAccess import SpriderAccess
from sprider.plugin.SpriderTools import SpriderTools
from sprider.plugin.UserAgent import UserAgent


class CNSourceCoder:
    base_url = "http://www.downcode.com"

    max_pager = 10  # 每页的数量 影响再次采集的起始位置.
    word_image_count = 5  # word插入图片数量 同时也是明细采集图片和描述的数量

    page_end_number = 0
    word_content_list = []
    haved_sprider_count = 0  # 已经采集的数量
    sprider_detail_index = 0  # 明细方法采集的数量 累加

采艘服智能发布站程序 V6.0

贴吧云签系统 V1.2

CKEditor 在线Html编辑器 V4.4.7 正式版

微易ASP微信公众平台_Wxxasp V1.5

游戏发布站程序源码 V4.0 Bulid 20150103

游戏广告宣传程序 V4.0 Bulid1209

ASP汽车租赁网站源码 V2.0

阿赛在线HTML编辑器 V7

维修类公司网站源码 V1.0

3D方块Flash网站系统 V3.0

补单系统 V1.0

微订单系统(单产品) V1.0

162100天气预报(含城市IP库) V1.6

Maxcms中Http转QVOD源码

环保时代家庭在线记账理财管理系统 V5.1

ASP实现ActiveRecord数据查询更新 V1.0

QQ制作网商业版源码 V1.5

ASP列表“加载更多”功能 V1.1

在押人员信息管理系统 V2.0

GOGO人才网系统ASP版 1.9.2.1

非零坊生日密码 V2.0

非零坊百家姓 V2.1

25175成绩查询管理系统 V2.28

25175学生成绩管理查询系统V2.8完整版本(官方)

25175选课系统(基础版) V20120218

Tui21在线翻译插件57种语言

陌落QQ互踩系统 V3.6

顶部下拉在线客服代码 V2.0

仿Hao123搞笑频道 V1.0

易笔字 中日韩在线手写输入 V2.2

Asp框架AspBox V1.3.1a

客齐齐企业网站管理系统 V2.3 GBK

瓷都财运算命 V1.0

流量放大程序 恶搞光棍节回家相亲

姓名配对爱情整人源码 V1.0

身高体重对照 V1.0 JS版

ASP天气预报插件 V1.0

电脑维护网站 V1.2

明星个人网站程序

YimonTemplate (ASP模板引擎) V1.5.20120823 GBK

YimonTemplate (ASP模板引擎) V1.5.20120823 UTF8

批量替换采集文章同义词ACCESS版 V1.0

壹网分类目录 V2.0

综合型占卜网源码

网赚型广告任务网程序源码 V3.0

Asp网址路径跳转辅助小程序 V1.0

财付通网银直连快捷支付 V3.0

NFL.Asia小蜗牛404错误系统

CVASP框架 201204C

实用淘宝客程序 V2.8

腾讯QQ登录SDK(ASP) V1.0

愚人节和清明节联合整蛊代码

手机号码归属地查询 V2.0

清明网上祭奠个人用户版 V2.0

捷易通官方推广网站源码 V8.8

动网Dvbbs8.3手机Wap插件

小钱袋子记帐系统 V1.1

HHYY分页类(原印象分页类) V2.0 最终版

星外对接DNSPOD接口完整代码(ASP) V1.1

521YY公交地图导航系统 V1.1

畅无忧代码收藏夹 V1.0

长春阳光妇科医院会员注册系统 1.0

科讯Cms前台设计人员必备之标签便捷选择插件 V1.0

马克思采集插件 V4.0

淘宝开店模拟考试系统 V1.0

搜服发布网系统 V7.1 (带采集)


    def sprider(self,sprider_name,sprider_count,start_number,
                pager_number,sprider_type,is_show_browse,root_path,
                first_column_name,second_column_name,is_record_db):
        """
        http://www.downcode.com/sort/j_1_2_1.shtml
        :param sprider_name:
        :return:
        """
        self.first_folder_name=sprider_type.upper()
        self.base_path=root_path
        self.first_column_name = first_column_name
        self.second_column_name = second_column_name
        self.sprider_start_count=start_number
        self.is_record_db=is_record_db
        BaseFrame().debug("开始采集[源码下载站]" + self.first_folder_name + "源码...")
        BaseFrame().right("本次采集参数:sprider_count(采集数量):" + str(sprider_count) + "")
        BaseFrame().right("本次采集参数:sprider_name(采集名称):" + sprider_name + "")
        sprider_url = self.base_url + "/{0}/{1}_1.shtml".format(self.first_column_name, self.second_column_name)# 根据栏目构建URL
        BaseFrame().debug("本次采集参数:sprider_url:" + sprider_url)

        self.second_folder_name = str(sprider_count) + "个" + sprider_name  # 二级目录也是wordTitle
        self.merchant = int(self.sprider_start_count) // int(self.max_pager) + 1  # 起始页码用于效率采集
        self.file_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name
        BaseFrame().right("本次采集参数:file_path=" + self.file_path + "")
        # 浏览器的下载路径
        self.down_path = self.base_path + os.sep + self.first_folder_name+ os.sep + self.second_folder_name+ "\\Temp\\"
        BaseFrame().right("本次采集参数:down_path=" + self.down_path + "")
        # First/PPT/88个动态PPT模板/动态PPT模板
        self.save_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name + os.sep + sprider_name
        BaseFrame().right("本次采集参数:save_path=" + self.save_path + "")


        if os.path.exists(self.down_path) is True:
            shutil.rmtree(self.down_path)
        if os.path.exists(self.down_path) is False:
            os.makedirs(self.down_path)

        if os.path.exists(self.save_path) is True:
            shutil.rmtree(self.save_path)
        if os.path.exists(self.save_path) is False:
            os.makedirs(self.save_path)
        response = requests.get(sprider_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))
        response.encoding = 'gb2312'
        soup = BeautifulSoup(response.text, "html5lib")
        #print(soup)
        element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})
        page_end_number = 1
        page_end_url = ""
        page_end_title = soup.find("a", attrs={"title": '最后页'})
        page_end_url = page_end_title.get("href")
        if page_end_url is None or page_end_url == "":
            page_end_number = 1
        else:
            page_end_number = (page_end_url.split(".shtml")[0].split("_")[3])

        self.page_count = self.merchant

        while self.page_count <= int(page_end_number):  # 翻完停止
            try:
                if self.page_count == 1:
                    self.sprider_detail(element_list, page_end_number,sprider_count)
                    pass
                else:
                    if int(self.haved_sprider_count) == int(sprider_count):
                        BaseFrame().debug("sprider采集到达数量采集停止...")
                        BaseFrame().debug("开始写文章...")
                        SpriderTools.builder_word(self.second_folder_name,
                                                  self.word_content_list,
                                                  self.file_path,
                                                  self.word_image_count,
                                                  self.first_folder_name)
                        SpriderTools.copy_file(self.word_content_list,
                                               self.save_path,
                                               self.second_folder_name,
                                               self.file_path)
                        SpriderTools.gen_passandtxt(self.second_folder_name, self.word_content_list, self.file_path)
                        BaseFrame().debug("文件编写完毕,请到对应的磁盘查看word文件和下载文件!")
                        break
                    next_url = self.base_url + "/{0}/{1}_{2}.shtml".format(self.first_column_name,
                                                                           self.second_column_name,
                                                                           self.page_count)

                    response = requests.get(next_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))
                    response.encoding = 'gb2312'
                    soup = BeautifulSoup(response.text, "html5lib")
                    element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})
                    self.sprider_detail(element_list, page_end_number,sprider_count)
                    pass
                self.page_count = self.page_count + 1  # 页码增加1
            except Exception as e:
                BaseFrame().error("sprider()执行过程出现错误:" + str(e))

 

最后送大家一首诗:

山高路远坑深,
大军纵横驰奔,
谁敢横刀立马?
惟有点赞加关注大军。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值