jim_lucky
码龄4年
求更新 关注
提问 私信
  • 博客:20,061
    20,061
    总访问量
  • 21
    原创
  • 1
    粉丝
  • 6
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
加入CSDN时间: 2021-04-30
博客简介:

jim_lucky的博客

查看详细资料
个人成就
  • 获得8次点赞
  • 内容获得6次评论
  • 获得18次收藏
  • 博客总排名1,658,648名
创作历程
  • 2篇
    2024年
  • 1篇
    2023年
  • 2篇
    2022年
  • 16篇
    2021年
成就勋章
TA的专栏
  • 爬虫
    11篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

兴趣领域 设置
  • 大数据
    mysql
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

80人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

python中pip下载第三方库镜像源问题

在使用pip install -i https://mirrors.aliyun.com/pypi/simple/ 命令安装包时报错。
原创
博文更新于 2024.05.06 ·
207 阅读 ·
2 点赞 ·
1 评论 ·
1 收藏

python中的str类型的list转化&两层list类型数据的过滤

【代码】python中的str类型的list转化&两层list类型数据的过滤。
原创
博文更新于 2024.04.13 ·
192 阅读 ·
3 点赞 ·
1 评论 ·
0 收藏

python读取磁盘文件信息

【代码】python读取磁盘文件信息。
原创
博文更新于 2023.02.08 ·
792 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

python下载图片至本地

【代码】python下载图片至本地。
原创
博文更新于 2022.12.15 ·
349 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

selenium打不开google的问题

在https://npm.taobao.org/mirrors/chromedriver/中找到尽可能与本机上的google版本一致的chromedriver.exe,并下载,最后将其移动到pycharm的虚拟环境中,如下图和google的安装位置中,如下图然后重新执行selenium代码即可。...
原创
博文更新于 2022.01.19 ·
687 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

scrapy框架中数据缺失问题

yield中,在Request方法里,提供了dont_filter参数,设置在Request中,并改成True以回避过滤策略
原创
博文更新于 2022.01.19 ·
618 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

scrapy框架的定时调度

import timeimport datetimefrom scrapy import cmdlinedef doSth(): # 把爬虫程序放在这个类里 sik是爬虫的name cmdline.execute('scrapy crawl sik'.split())# 想几点更新,定时到几点def time_ti(h=8, m=50): while True: now = datetime.datetime.now() # print(now.hour, now.m.
原创
博文更新于 2022.01.19 ·
451 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

from pymouse import PyMouse,PyMouse报错问题

在pymouse库的初始化方法中第92行的from windows import PyMouse,PyMouseEvent改为from pymouse.windows import PyMouse,PyMouseEvent即可。
原创
博文更新于 2022.01.19 ·
4322 阅读 ·
1 点赞 ·
4 评论 ·
3 收藏

python scrapy框架中如何提升数据操作数据库的效率

第一步:建立数据库连接池import pymysqlfrom twisted.enterprise import adbapi# 异步更新操作class MySQLPipeline(object): def __init__(self, dbpool): self.dbpool = dbpool @classmethod def from_settings(cls, settings): # 函数名固定,会被scrapy调用,直
原创
博文更新于 2022.01.19 ·
295 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Linux中查看全部日志,python任务的执行线程

查看全部日志:tail -f 日志文件名python任务的执行线程: ps -ef|grep python让python任务在服务器后台运行:jim.log是日志文件nohup python3 run.py > jim.log &
原创
博文更新于 2022.01.19 ·
407 阅读 ·
0 点赞 ·
1 评论 ·
1 收藏

python scrapy框架中如何提升爬虫获取数据效率

修改setting.py中的一些线程参数配置,# Configure maximum concurrent requests performed by Scrapy (default: 16)CONCURRENT_REQUESTS = 100# Configure a delay for requests for the same website (default: 0)# See https://docs.scrapy.org/en/latest/topics/settings.html#d
原创
博文更新于 2022.01.19 ·
169 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Linux中删除文件夹中所有文件或子文件夹

rm -rf 文件夹
原创
博文更新于 2022.01.19 ·
5433 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

mysql数据库中查找重复数据

select str1,str2,count(*) as count from table group by str1,str2 having count>1;#str1 ,str2是table表中的字段#根据str1,str2为条件来进行查找重复数据
原创
博文更新于 2022.01.19 ·
624 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

在linux中强制终止任务的执行

kill -9 任务进程号
原创
博文更新于 2022.01.19 ·
579 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

解压后缀zip的压缩包

unzip jim.zip#jim.zip为需要解压的文件,解压到当前文件夹下
原创
博文更新于 2022.01.19 ·
453 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

linux中scp远程传输文件

scp asin_new.zip root@14.30.1.46:/opt/#asin_new.zip 是需要传输的文件#root是账户#14.30.1.46是目标IP#opt是目标下的目录
原创
博文更新于 2022.01.19 ·
154 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python中scrapy框架使用flask框架编写api接口

1在scrapy框架中编写api接口:在与setting.py同级处新建api.py,在该api.py中编写一下代码from flask import Flaskimport osapp = Flask(__name__)@app.route('/asin')#浏览器接口路径def index(): print('正在执行爬虫项目!!!') os.system('scrapy crawl fk')#fk需要执行的py文件 return '爬虫项目执行完毕!!!'
原创
博文更新于 2022.01.19 ·
995 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

python爬虫单一的py文件打包

1,下载pyinstaller库2,在需要打包的py文件同级目录执行pyinstaller -F 测试2.py#测试2.py是需要打包的py文件3,最后在需要打包的同级目录生成dist文件夹,可执行文件就在其中。
原创
博文更新于 2022.01.19 ·
278 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python中对excel表格数据的修改,插入,删除,获取

修改:xlrd库与xlutils库结合import xlrdfrom xlutils.copy import copydef oop1(): work = xlrd.open_workbook("ceshishujvku.xlsx") old_cibtent=copy(work) ws=old_cibtent.get_sheet(0) ws.write(2,1,'jimclear')#第2列第1行 old_cibtent.save("jim.xlsx")
原创
博文更新于 2022.01.19 ·
2117 阅读 ·
0 点赞 ·
0 评论 ·
6 收藏

python中selenium填写select框

from selenium.webdriver.support.select import Select先找到select框的位置,我这里使用css选择器定位ji=self.driver.find_element_by_css_selector('#sm_code')Select(ji).select_by_visible_text(date04)date04是我需要填写到select框中的数据...
原创
博文更新于 2022.01.19 ·
491 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多