top_beyond
码龄8年
求更新 关注
提问 私信
  • 博客:91,370
    91,370
    总访问量
  • 45
    原创
  • 36
    粉丝
  • 22
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
加入CSDN时间: 2017-06-28

个人简介:自动化工程师正在向爬虫进军

博客简介:

Top_beyond的博客

查看详细资料
个人成就
  • 获得76次点赞
  • 内容获得7次评论
  • 获得54次收藏
  • 博客总排名649,039名
创作历程
  • 48篇
    2017年
成就勋章
TA的专栏
  • python scrapy爬虫
    11篇
  • python BeautifulSoup爬虫
    6篇
  • python lxml爬虫
    3篇
  • python 多线程爬虫
    3篇
  • python 多进程爬虫
    2篇
  • python http请求
    6篇
  • python selenium
    3篇
  • Python 爬虫入门
    3篇
  • python 面试题
    5篇
  • python mongodb/mysql/redis
    1篇
  • python 自动化
    1篇
  • python 反爬虫
    1篇
  • jenkins
    3篇
  • monkey
    1篇

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

兴趣领域 设置
  • 前端
    vue.js
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

79人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

二.scrapy抓取百度新闻排行榜,并且推送到指定邮箱

#encoding=utf-8import scrapyimport requestsfrom pymongo import MongoClientfrom ..items import FirstoneItemimport smtplibfrom email.mime.text import MIMETextfrom .. import settingsimport time
原创
博文更新于 2017.06.30 ·
1350 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

monkey基础学习

monkey一、Monkey测试简介Monkey测试是Android平台自动化测试的一种手段,通过Monkey程序模拟用户触摸屏幕、滑动Trackball、按键等操作来对设备上的程序进行压力测试,检测程序多久的时间会发生异常。Monkey程序由Android系统自带,使用Java语言写成,在Android文件系统中的存放路径是:/system/framework/monkey.jar;Monke
原创
博文更新于 2017.11.15 ·
9703 阅读 ·
3 点赞 ·
1 评论 ·
31 收藏

jenkins ant jmeter持续集成2

jenkins ant jmeter> github模板项目地址(接口保密)jmeter优势不依赖于界面,测试脚本不需要懂编程,熟悉http请求,熟悉业务流程,对象来编写接口测试用例。测试脚本维护方便,多人共同维护使用参数化以及Jmeter提供的函数功能,可以快速完成测试数据的添加修改等。功能测试和性能测试均可完成可结合jenkins ant/maven做日构建持续集成尽量不要从业务逻辑
原创
博文更新于 2017.11.10 ·
491 阅读 ·
0 点赞 ·
1 评论 ·
2 收藏

appium服务

#coding=utf-8#coding=utf-8import reimport time,sys,osimport subprocessfrom UIAUTO_APP import settingsimport threadingfrom multiprocessing import Processsys.path.append(os.path.abspath('..'))f
原创
博文更新于 2017.11.10 ·
422 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

selenium常见问题集锦

一.日历选中处理(readonly属性不能写的处理)很多人问时间日期的空间怎么处理,但是时间日期控件各种各样,你可能遇到正常点的像这样: 当然也可能遇到难点的,像这样: 很简单,用js把禁止输入的readonly属性干掉就好了。js_start="document.getElementById('queryStartTime').removeAt
原创
博文更新于 2017.11.10 ·
1914 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Jenkins jmeter maven持续集成知识点

一.mavenmaven安装配置maven下载官方地址Apache Maven Project需要安装jdk配置path环境,安装成功后输入mvn -v如下信息表明安装成功Apache Maven 3.5.0 (ff8f5e7444045639af65f6095c62210b5713f426; 2017-04-04T03:39:06+08:00)Maven hom
原创
博文更新于 2017.10.27 ·
823 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

jenkins jmeter ant 持续集成测试

jenkins jmeter ant 持续集成测试 使用ant打包运行jmeter脚本文件偏于简单ant配置文件<?xml version="1.0" encoding="UTF8"?><project name="ant-jmeter-test" default="run" basedir="."><tstamp><format property="time" pattern="yyy
原创
博文更新于 2017.10.24 ·
343 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

十一.scrapy 爬取百度相关搜索主题信息内容

一.新建项目cd 项目目录scrapy startproject baidunspidercd baiduspiderscrapy gensipider -t basic mybaiduspider news.baidu.com  二.主项目,item暂时不加,注意setting配置里面必须加入headers   user-agent,否则百度禁止爬虫爬取信息‘举例以 ,在
原创
博文更新于 2017.07.20 ·
928 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

六.通过接口统计张江的小鸣单车数量

一.看看张江的地图张江地图呈现梯形,并且多出一块正方向二.安装小鸣单车APP,后fiddler抓包小鸣单车APP抓包可以看到每次定位https://api.mingbikes.com/common/terminal/get_near_bike,返回参数可以看到POST参数是经纬度,返回的信息都是单车的型号,SN编码,还有经纬度三.分析1.看定位区间以固定经纬度(
原创
博文更新于 2017.07.18 ·
921 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

一.python 反爬虫

一.爬虫比例:二.爬虫头信息浏览器header信息:Accept 浏览器可接受的MIME类型 ,设定某种扩展名的文件,浏览器会自动使用指定应用程序来打开Accept-Charset 浏览器支持的字符编码 Accept-Encoding 浏览器知道如何解码的数据编码类型(如 gzip)。Servlets 可以预先检查浏览器是否支持gzip并可以对支持gzip的浏览器返回g
原创
博文更新于 2017.07.18 ·
648 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

四.python面试题 内置函数instance getattr setattr hasattr

isinstance    isinstance(object, classinfo)   判断实例是否是这个类或者object是变量    classinfo 是类型(tuple,dict,int,float)  判断变量是否是这个类型     class objA:   pass     A = objA()   B = 'a','v'   
原创
博文更新于 2017.07.13 ·
366 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

1000个常用的Python库和示例代码

下面是programcreek.com通过分析大量开源代码,提取出的最常用的python库。  1. sys    (4627) 2. os    (4088) 3. re    (3563) 4. time    (3195) 5. datetime    (2214) 6. random    (2135) 7. unittest 
转载
博文更新于 2017.07.11 ·
612 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

十.scrapy项目 爬取主页http://cuiqingcai.com/获取所有url与title

一.分析采用crawlspider,利用rule规则提取url,并且follow=True追踪下去
原创
博文更新于 2017.07.10 ·
1505 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

三.python面试题 类的三种方法

分别是类方法,静态方法,实例方法。而能让类只接调用的只有类方法,或通过一些小技巧,类也可以调用实例方法如上面例子中的调用这边顺便说明下这三中方法的区别1类方法的特点是类方法不属于任何该类的对象,只属于类本身2类的静态方法类似于全局函数,因为静态方法既没有实例方法的self参数也没有类方法的cls参数,谁都可以调用3.实例方法只属于实例,是实例化的对象才能调用#coding:utf-8
原创
博文更新于 2017.07.07 ·
315 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

一.海量数据存储基础

课程大纲:1.  课程目标2.  存储服务概述3.  MySQL与MySQL分布式架构设计4.  Redis与Redis分布式架构设计5.  思考与讨论一、课程目标1.  了解存储服务概况,以及RDBMS及NoSQL的差异2.  理解MySQL、Redis、HBase基本实现机制、特性、适用场景3.  理解几种存储产品的大规模
转载
博文更新于 2017.07.07 ·
2532 阅读 ·
2 点赞 ·
0 评论 ·
6 收藏

九.scrapy项目下spiders内多个爬虫同时运行

1.运行单个爬虫from scrapy.cmdline import executeexecute(('scrapy,crawl,myspd1,--nolog').split(','))2.运行多个爬虫单个爬虫是调用crawl方法来运行爬虫,可以查看crawl源码运行多个爬虫,可以直接修改crawl源码,新建一个mycrawl文件#coding:utf-8imp
原创
博文更新于 2017.07.07 ·
8868 阅读 ·
2 点赞 ·
0 评论 ·
8 收藏

八.Scrapy 学习下Spider中间件Spider Middlewares

前面几篇文章都只是对Scrapy框架的一个初步了解,这篇文章中我打算稍微深入Scrapy框架中,通过下载保存美女图片的例子,去探究下Spider Middleware的相关知识。一,Scrapy架构概览要探究清楚Spider Middleware,首先得对Scrapy框架的整体架构有个大致的认识,如下图所示: 1,组件(Components)Scrapy 引擎(
原创
博文更新于 2017.07.07 ·
10650 阅读 ·
3 点赞 ·
0 评论 ·
13 收藏

七.scrapy settings中文版

SettingsScrapy设定(settings)提供了定制Scrapy组件的方法。您可以控制包括核心(core),插件(extension),pipeline及spider组件。设定为代码提供了提取以key-value映射的配置值的的全局命名空间(namespace)。 设定可以通过下面介绍的多种机制进行设置。设定(settings)同时也是选择当前激活的Scrapy项
原创
博文更新于 2017.07.07 ·
727 阅读 ·
2 点赞 ·
0 评论 ·
1 收藏

六.Python爬虫Beautiful Soup的用法

1. Beautiful Soup的简介简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下:Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beauti
原创
博文更新于 2017.07.07 ·
290 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

三.Python爬虫Xpath语法与lxml库的用法

安装1pip install lxml利用 pip 安装即可XPath语法XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。节点关系(1)父(Parent)每个元素以及属性都有一个父。在下面的例子中,bo
原创
博文更新于 2017.07.07 ·
584 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多