爬虫炫神
码龄7年
关注
提问 私信
  • 博客:187,209
    187,209
    总访问量
  • 61
    原创
  • 1,240,457
    排名
  • 92
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2018-05-09
博客简介:

weixin_42170439的博客

查看详细资料
个人成就
  • 获得135次点赞
  • 内容获得28次评论
  • 获得847次收藏
  • 代码片获得565次分享
创作历程
  • 1篇
    2021年
  • 63篇
    2019年
成就勋章
TA的专栏
  • IT 、 python编程
    16篇
  • scrapyd
  • requests爬虫
    1篇
  • pyspider爬虫
    1篇
  • scrapy框架
    7篇
  • selenium 多层框架提取
    2篇
  • css 选择器
    1篇
  • OpenCV
    2篇
  • python基础
    8篇
  • redis
    1篇
  • Mysql
    5篇
  • SQL语句
  • 手机app
    1篇
  • 验证码
  • pandas
    2篇
  • 天眼查反扒问题
  • IT
    2篇
  • git命令
  • Pillow图片处理
    1篇
  • docker
    1篇
  • 服务器centos
    7篇
兴趣领域 设置
  • 大数据
    hive
创作活动更多

仓颉编程语言体验有奖征文

仓颉编程语言官网已上线,提供版本下载、在线运行、文档体验等功能。为鼓励更多开发者探索仓颉编程语言,现诚邀各位开发者通过官网在线体验/下载使用,参与仓颉体验有奖征文活动。

368人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

解决用pandas读取excel的编码问题(unknowncodepage21010)

解决用pandas读取excel的编码问题(unknowncodepage21010)前言首先报错会提示 以下信息: unknown encoding: unknown_codepage_21010查寻好久,最后在git上发布的一篇文章,解决思路是直接明确将编码设置好,git链接:https://github.com/okfn/messytables/issues/47具体操作找到xlrd的__init__.py文件,在 open_workbook 模块中将encoding_override
原创
发布博客 2021.07.30 ·
1575 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

centos7下安装 Chrome和ChromeDriver

具体下载地址为:http://dl.google.com/linux/chrome/rpm/stable/x86_64//google-chrome-stable-66.0.3359.181-1.x86_64.rpm在centos命令行输入:[root@VM_0_8_centos local]# wget http://dl.google.com/linux/chrome/rpm/s...
原创
发布博客 2019.12.13 ·
637 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MySQL报错 : Your password does not satisfy the current policy requirements

mysql> use mysql;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> create user 'yaoyon...
原创
发布博客 2019.11.25 ·
398 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python 计算两个时间段的时间查。

前言: ​​​​​​python 提供时间模块datetime,此处也是用的datetime做的测试,主要用到datetime下的时间差函数 timedelta。 如果有人问你昨天是几号,这个很容易就回答出来了。但是如果问你200天前是几号,就不是那么容易了。而在Python中datetime模块中的timedelta就可以很轻松给出答案。 timedelta 介绍:...
原创
发布博客 2019.10.23 ·
2563 阅读 ·
0 点赞 ·
0 评论 ·
6 收藏

分布式任务队列Celery 的应用

一、简介Celery是由Python开发、简单、灵活、可靠的分布式任务队列,其本质就是生产者与消费者模型 。 生产者发送任务到消息队列,消费者负责处理任务。 Celery侧重于实时操作,但对调度支持也很好,其每天可以处理数以百万计的任务。 Celery 分布式队列的特点:简单:熟悉celery的工作流程后,配置使用简单 高可用:当任务执行失败或执行过程中发生连...
原创
发布博客 2019.10.12 ·
343 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

centos 下mysql 添加用户(配置建库权限)

前提:本文需要Mysql的root用户操作,如果忘记密码,可以参考:本博主的mysql密码修改博客。 mysql密码修改博客链接:https://blog.csdn.net/weixin_42170439/article/details/102486126。1.查看当前的用户// 进入mysql服务会有一个mysql的库,查询该库下的user表,查询字段 Host,User .s...
原创
发布博客 2019.10.12 ·
1253 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

Centos Mysql 密码的修改

个人环境mysql5.7.16 centos7.41. 修改mysql配置文件编辑配置文件vim /etc/my.cnf按i在[mysqld]中添加skip-grant-tables,即跳过权限认证skip-grant-tables按esc后输入:wq保存退出2. 重启mysql输入命令重启service mysqld restart3....
原创
发布博客 2019.10.10 ·
187 阅读 ·
2 点赞 ·
0 评论 ·
1 收藏

centos 服务器在连接redis数据库报错:MISCONF Redis is configured to save RDB snapshots

centos 连接redis报错问题: 1. 报错信息 centos7服务器——连接redis数据库时突然报错:(error) MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modi...
原创
发布博客 2019.09.23 ·
159 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

kill 和killall----杀死进程

kill 和killall----杀死进程1、根据进程ip查看进程名Liunx中 通过进程名查找进程PID可以通过 pidof [进程名] 来查找。反过来 ,通过PID查找进程名则没有相关命令。但在linux根目录中,有一个/proc的VFS(虚拟文件系统),系统当前运行的所有进程都对应于该目录下的一个 以进程PID命名的文件夹 ,其中存放进程运行的N多信息。其中有一个stat...
原创
发布博客 2019.09.18 ·
281 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Linux—Docker下安装Chrome浏览器和ChromeDriver

Linux—Docker下安装Chrome浏览器和ChromeDriver1.首先检查linux的os版本:2.升级版本7.2后:在6.2版本安装2.44版本的chromedriver和最新71版本(google-chrome-stable-71.0.3578.80-1.x86_64)的chrome浏览器会报错,比如报GLIBC 2.14和2.16版...
原创
发布博客 2019.09.17 ·
21984 阅读 ·
7 点赞 ·
4 评论 ·
18 收藏

Python 中文分词模块 JieBa

Python第三方库jieba(中文分词)入门与进阶(官方文档)jieba“结巴”中文分词:做最好的 Python 中文分词组件github:https://github.com/fxsjy/jieba特点 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; ...
原创
发布博客 2019.09.06 ·
985 阅读 ·
1 点赞 ·
1 评论 ·
8 收藏

Linux_centos 3.10.0-514.26.2.el7.x86_64(centos7)报错:yum无法安装

Linux_centos 3.10.0-514.26.2.el7.x86_64(centos7)报错:yum list 正常,yum 安装无法使用的解决方法一、出错情况(1)yum list可以查出数来,证明ISO系统镜像是关联了的且挂载成功:yum list(2)yum repolist显示仓库的时候是0:yum repolist(3)总结原因...
原创
发布博客 2019.08.31 ·
3613 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

scrapyd部署总结

scrapyd部署总结版权声明:本文为博主原创文章,转载请标明原文https://blog.csdn.net/weixin_42170439/article/details/89352917 #commentBox。一、前言 由于毕设要做一个集成爬虫、文本分析和可视化的网站。需要将爬虫部署到网站上去供不懂技术的人使用。因此开始了研 究 sc...
原创
发布博客 2019.08.28 ·
210 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

ECS 服务器centos上搭建Docker

ECS 服务器centos上搭建Docker主要内容本文主要介绍以下内容:部署Docker 使用Docker 制作镜像部署Docker本教程的操作系统版本为CentOS 7.2 64 3.10.0-514.6.2.el7.x86_64。说明Docker要求64位的系统且内核版本至少为3.10。完成以下操作,部署Docker:添加yum源。 # y...
原创
发布博客 2019.08.24 ·
152 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Docker安装以及原理详解

Docker安装以及原理详解1. docker简介1.1虚拟化1.1.1什么是虚拟化在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式,地域或物理组态所...
原创
发布博客 2019.08.21 ·
168 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Gerapy框架的安装使用

Gerapy框架的安装使用一,gerapy框架Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可以帮助我们:更方便地控制爬虫运行 更直观地查看爬虫状态 更...
原创
发布博客 2019.08.21 ·
302 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

python操作kafka实战教程和kafka配置文件

python操作kafka实战教程和kafka配置文件前言应用往Kafka写数据的原因有很多:用户行为分析、日志存储、异步通信等应用。 多样化的使用场景带来了多样化的需求:消息是否能丢失?是否容忍重复?消息的吞吐量?消息的延迟?kafka介绍Kafka属于Apache(阿帕奇服务器)组织,是一个高性能、跨语言、分布式发布和订阅消息队列系统。Kafka主要特点有:以时间...
原创
发布博客 2019.07.16 ·
1011 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

Kafka入门简介

Kafka入门简介什么是Kafka?Kafka是一个分布式流处理系统,流处理系统使它可以像消息队列一样publish(发布)或者subscribe(订阅)消息,分布式提供了容错性,并发处理消息的机制。Kafka的基本概念?kafka运行在集群上,集群包含一个或多个服务器。 kafka把消息存在topic中,每一条消息包含键值(key),值(value)和时间戳(time...
原创
发布博客 2019.07.16 ·
234 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Python编程中使用Pillow来处理图像的基础教程

Python编程中使用Pillow来处理图像的基础教程一、Pillow图片处理模块的安装先来看一下Pillow的安装方法,在这里以Mac OS环境为例:1、使用 pip 安装 Python 库。pip 是 Python 的包管理工具,安装后就可以直接在命令行一站式地安装/管理各种库了(pip 文档)。$ wget http://pypi.python.org/package...
原创
发布博客 2019.07.12 ·
490 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

python面试 常见算法问题

一、递归和时间复杂度1.递归递归函数的特点:自己调用自己,有结束条件,看下面例子:# -*- coding:utf-8 -*-# 算法和递归def fun1(x): """有结束条件,没有报错信息""" print(x) if x>0: fun1(x-1)fun1(7)print("
")# 输出分隔符def fun2(...
原创
发布博客 2019.07.08 ·
1037 阅读 ·
2 点赞 ·
1 评论 ·
7 收藏
加载更多