- 博客(49)
- 收藏
- 关注
原创 Ubuntu安装WordPress并使用Nginx作为Web服务器
这就是在Ubuntu上使用Nginx安装和配置WordPress的基本步骤。请注意,这只是一个简单的设置,具体环境可能需要根据需求进行调整。打开您的浏览器,访问您的域名(需要另行配置)或IP地址,按照WordPress安装向导完成安装过程。安装过程中会提示您设置MySQL的root密码。在文件中插入以下配置,记得替换。替换为您选择的实际密码。
2023-12-27 16:12:00
1052
原创 Wordpress 安装插件和主题报错
正在运行的 Web 服务器进程的用户和组:运行以下命令来查看正在运行的 Web 服务器进程的用户和组。这是权限惹的祸,如下一顿操作猛如虎,就解决了。安装主题和插件的时候,就是这个恶心的报错,
2023-08-28 22:25:02
547
原创 Bard:Google AI开始支持中文对话和看图说话了
用户可以上传图片给Bard,Bard会对图片进行解析和评论。Bard可以对图片进行描述,并写出一个关于图片的故事。Bard支持多种语言,包括中文,并可以将其回复以语音的形式朗读出来。Bard也是一个很优秀的产品,并且刚刚发布的很多有趣的新功能。这意味着用户现在可以用中文和Bard进行交互,Bard也将会用中文回复用户。要使用Bard的图片解析和评论功能,用户只需要上传图片给Bard。Bard会对图片进行解析,并写出一个关于图片的故事。未来,Bard可能会支持更多的语言,并会新增更多的功能。
2023-07-18 11:08:37
1549
1
原创 Leap AI + Python 开发绘图应用
model_id是指对应Realistic Vision模型的ID,通过它我们可以选择使用不同的模型进行图像生成。prompt是用于生成图像的提示词,你可以根据自己的喜好和创作需求输入不同的提示。你会惊喜地发现,服务器将会为你生成出一幅惊人的图像,展现出可爱的小狗和小猫微笑的场景。在函数中,我们使用了Leap AI的API来发送POST请求,并传递了必要的参数。服务器将根据你的提示生成图像,并将其存储在特定的URI中。将你的API密钥复制到代码中的API_KEY变量中,准备开始创作吧!
2023-07-11 17:10:01
1128
原创 AI应用系列--- Talking Photo 会说话的照片
使用/talkingphoto + 上传 照片 + 文本 + 语音类型选择 命令生成。生成可能需要几分钟的时间,耐心等待即可。成为付费用户后,可以利用HeyGen的API在其他项目中使用talkingphoto的功能。网站,登录后即可根据提示或者案例生成talkingphoto。
2023-07-10 19:30:34
889
原创 手把手操作JS逆向爬虫入门(三)---Headers请求头参数加密
index.js文件里搜索 getApiKey,不难发现,getApiKey由comb函数处理e,t两个 参数,而comb函数 就是对参数拼接后进行base64编码(如图方框处btoa)。抠出是上述js代码,新建js文件okyunlina.js,并写一个生成x-apiKey参数的函数入口。通过搜索encryptApiKey和encryptTime两个函数名,不难找出其生成原理。通过抓包分析请求,不难发现,该网站的请求头headers里有一个参数x-apiKey。这样只要找到两个参数的来源,就解决问题了。
2022-11-06 15:22:10
2565
4
原创 PPT压缩技巧分享
有时候,不到20页的PPT文件的大小会超过50M,全屏播放的时候,容易卡壳。那么如何压缩PPT文件呢?1、压缩图片。双击图片,选择压缩图片,然后按下图操作。2、选择文件-高级-图像大小和质量,并按下图设置,然后保存。基本上按照上述操作,PPT文件可以减小很多了。...
2022-03-04 15:44:05
2895
1
原创 手把手操作JS逆向爬虫(二)
本文是本人100%完成,没有参考任何资料。虽说不是什么高难度的JS逆向,但对新手来说还是有点难度的。话不多说,开始整体。本次破解的目标是音乐网站的歌曲下载。目标音乐网站。请找解密网站破解如下地址,应该看得出用了什么加密方式吧:-):aHR0cHM6Ly93d3cua3Vnb3UuY29tLw==基本思路:搜索歌曲名字,获得歌曲地址,完成下载。逆向过程:1、搜索歌曲,通过手动观察和查找,不难在Network下的JS面板下找到目标请求信息。2、我们来看一下这个请求的具体信息:Hea
2022-02-21 21:09:25
706
1
原创 如何下载视频号的视频文件?
Android->data->com.tencent.mm->cache->一串数字->finder->viedo把下面的文件改成.mp4后缀的文件,就可以了,播放是可能需要下载一个插件EVC video extensionmicrosofthevcvideoextensionx86x64
2022-02-14 13:24:22
2230
原创 python pip 命令汇总
pip listpip list --outdatedpip show numpypip install numpypip uninstall numpypip install --upgrade numpy
2022-01-30 22:14:08
802
原创 Pyspider 安装的那些坑(解决你所有的问题)
1.async成为关键字,不能作为变量名,所以要把相关文件(run.py、tornado_fetcher.py、webui>app.py,)的async变量统一改成别名,比如shark2.phantomjs 的目录需要添加到系统的环境变量Path中。3.报ImportError: cannot import name 'DispatcherMiddleware'错误:pip uninstall werkzeugpython -m pip install werkzeug==0.16.1
2022-01-11 18:22:56
399
原创 手把手操作JS逆向爬虫入门(一)
本文爬取的网站如下(可以找解密工具解码)aHR0cHM6Ly9uZXdyYW5rLmNuLw==爬取的内容为网站的资讯情报版块的新闻资讯鼠标点击翻页,在开发者工具中查看请求包,很容看出请求地址和参数,其中post请求的参数如图:请求中的变化参数为nonce和xyz,我们的目标就是找出这两个参数的加密原理,就是加密函数。然后用python代码编写函数生成该加密参数,或者抠出JS代码,然后再python中调用生成加密参数,然后出入post请求,实现爬虫。逆向过程:1、搜索.
2022-01-05 22:47:43
7656
14
原创 招聘岗位爬虫 selenium+pyquery
爬虫目的:爬取某直聘的岗位信息,如果是新岗位,就发送邮件至指定邮箱。重点:selenium的使用以及如何避免被检测。 pyquery解析数据的规则。import time,randomimport redisfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom pyquery import PyQuery as pqfrom mylibrary impor..
2022-01-04 11:20:43
608
原创 python微信公众号文章爬虫(上)
微信公众号爬虫关键是获取请求地址。这篇文章是方法之一。登录自己的公众号后台,微信公众平台,进入图文消息编辑界面,输入超链接,选择公众号文章,搜索公众号,比如人民日报,然后会弹出最新的文章列表。此时可以找到相应的请求,通过公众号文章翻页,可以找到请求的参数规律。注意:请求是需要cookies参数,可以拷贝浏览器访问的cookies。代码如下:''' the key is to use cookies'''import requestsheaders={'User-Agent':'...
2021-11-12 20:57:23
2329
原创 2021-10-22 爬取电商网站信息(不采用async)
重点掌握BeautifulSoup的使用,用class或者id属性进行select 和select_one定位,正则表达式的试用。from bs4 import BeautifulSoupimport requestsimport timeimport jsonimport re# import phantomjsheaders={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTM
2021-10-22 20:36:48
171
原创 2021-07-27 爬取教育类网站的新闻列表,发送邮件,并转化为exe文件
爬取芥末堆网站的新闻列表!非常简单的一段代码,待完善。import requestsheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Referer':'https://www.jiemodui.com/'}url0='https://www.jiemodui.com
2021-07-27 14:38:15
722
原创 Python爬取招聘网站岗位信息
import timeimport csvfrom selenium import webdriverif __name__=='__main__': positions = [] while (True): position = input('请输入要搜索的岗位名称,如python,数据分析等,按回车完成。可以输入多次,"n"或"N结束输入:') if position == 'n' or position == 'N': .
2021-07-17 13:45:03
3142
2
原创 Celery分布式爬虫牛刀小试
本案例旨在展示celery的功能。from celery import Celeryimport jsonimport timeimport requestsheaders={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0....
2020-03-19 21:07:01
626
1
原创 Python异步并发爬虫-----gevent库爬取知名问答网站问题列表
掌握 Gevent库的使用。经验:1、猴子补丁的使用。from gevent import monkey;monkey.patch_all() 必须写上,否则效果同单线程。2、知乎网站采用了Ajax技术动态传递数据,Chrom浏览器F12,在Network菜单下的XHR栏下找到相应个的链接,其返回数据为字典和列表多重嵌套的字典。乍看有点复杂,需要理清结构。3、需要加入cookies信息,...
2020-02-29 21:41:41
256
原创 R语言基础命令一网打尽
a<-c(35,6,3,4,6,3,67,8,56)a[1] 35 6 3 4 6 3 67 8 56class(a)[1] “numeric”which(a>10)[1] 1 7 9a[1][1] 35is.logical(a)[1] FALSEa<-c(35,6,3,4,6,3,67,8,56)a[1][1] 35is.logical...
2020-02-24 10:24:28
1891
1
原创 Python爬取2020新冠肺炎疫情数据及Tableau可视化分析
当前新冠病毒肆虐中国,全国上下统一部署全力防控疫情扩散。我们可以从多个渠道获取疫情发展的最新数据,网上也有不少程序爬取相关数据,并做可视化的案例。今天我也来小试一下。目标:1、爬取腾讯网新冠肺炎疫情数据;2、Tableau可视化分析。话不多说,直接上代码及效果图。import requestsimport jsonimport timeimport csvurl='https:/...
2020-02-21 21:21:36
8153
10
原创 Python读写csv文件
CSV写文件import csvfile=open('d:/csv1.csv','a')fp=csv.writer(file)s1=['james','male','39']s2=(['vera','female','39'],['jacky','male','37'])s3=[('vera','female','39'),('jacky','male','37')] #tuple/l...
2020-02-21 10:28:28
148
原创 Scrapy+Mysql+SqlAlchemy爬取招聘网站信息
爬虫目的:爬取拉勾网站杭州分站的python岗位基本信息和岗位详情,并写入mysql数据库。后附经验总结。知识点,1、解析函数多个yield以及多个pipeline的使用2、Sqlalchemy框架的使用3、Scrapy FormRequest请求,以及反爬难点:岗位详细信息的url不能直接从爬虫返回信息获得,而需要另外构建url。然后通过request再次请求,以及回调的解析函数...
2020-01-08 21:59:07
653
原创 Windows下MongoDB集群搭建示范,包会!
shutdownnet stop mongodb打开一个DOS窗口,输入如下命令,不要关闭窗口mongod --dbpath D:\MongoDB\Server\4.2\mongocluster\slave2\data --port 27012 --bind_ip 192.168.1.4 --replSet myrs再打开一个DOS窗口,输入如下命令,不要关闭窗口mongod --db...
2020-01-07 08:24:56
606
原创 Requests电商网站爬虫+SQLAlchemy框架数据入库
知识点:1、SQLAqlalchemy框架的使用,数据库连接,建立表格,数据入库Mysqll等操作。2、解决重复入库问题3、图片元素变动的反爬应对from sqlalchemy import create_enginefrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column,...
2020-01-02 22:06:51
1264
原创 Python模块使用示范之pickle/cPickle
import pickle as pk#也可import cPickle as pk #需要安装print('#dump的用法: 直接写入文件!')d=dict(name='james',age=39,occupatone='data analyst')with open('d:/pickletest.txt','wb') as fp: pk.dump(d,fp) #注意参数# d...
2019-12-31 17:09:09
171
原创 redis牛刀小试 ----requests爬虫
技术要点:1、python操作redis的基础,如建立连接,插入数据,读取数据等等。2、爬虫代理的使用。目标:爬取拉勾网站数据分析师岗位信息,将公司、薪水、城市及岗位详细信息地址写入redis数据库,然后爬取每个岗位详细信息页面,获取职位诱惑和岗位要求的详细信息,再次写入redis。import requestsimport timeimport randomimport redi...
2019-12-29 21:58:14
248
原创 单线程、异步伪并发及多线程爬虫实例比较(附经验总结)
技术要点:1、BeautifulSoup库select方法选取元素2、Selenium+phantomjs反爬动态网页3、asyncio + aiohttp异步爬虫技术4、多线程threading库的使用。爬取京东网站信息:页数20页,单线程爬虫:from bs4 import BeautifulSoupimport requestsimport timeimport pha...
2019-12-29 21:36:40
357
1
原创 R语言主成分分析
读入数据,观察结构> data(attitude)> head(attitude) rating complaints privileges learning raises critical advance1 43 51 30 39 61 92 452 63 64 ...
2019-12-23 20:33:26
3618
原创 R聚类分析@;
原始数据:13个品牌的鼠标参数,如下表。brand Touch Chips Driver Compatibility Game1 Brand1 7.5 17.5 7.0 8.0 8.02 Brand2 7.5 19.5 7.0 7.0 9.03 Brand3 8.5 18.0 8.5 ...
2019-12-20 21:26:26
520
原创 关联规则分析
概念:1、规则的支持度SupportS(A=>B)=P(A∩B)2、规则的置信度ConfidenceConf(A=>B)=(S(A=>B))/(S(A))=P(B|A)3、规则的提升度LiftLift(A=>B)=Conf(A=>B)/S(B) =(P(B|A))/P(B)4、规则的部署能力D=S(A)-S(A=>B)...
2019-12-18 17:26:46
1468
原创 R语言决策树分析
A:分类树判别一、数据读入及转化以R中Titanic数据为例。> data(Titanic) #数据读入> str(Titanic) 'table' num [1:4, 1:2, 1:2, 1:2] 0 0 35 0 0 0 17 0 118 154 ... - attr(*, "dimnames")=List of 4 ..$ Class : chr [1:4] ...
2019-12-16 18:51:41
4914
1
原创 Requests+Mongodb爬取拉勾python岗位
本案例为爬取拉勾网站python岗位招聘信息,并写入mongdb数据库。爬取拉勾网站招聘信息的时候会面临的反爬技术,解决问题主要两个方法,第一是用selenium模拟浏览器暴力爬取,第二种办法是用requests加上cookies信息完成。第二种方式,本人尝试过多次,爬到10页以上就爬不出数据了,相信这样也是反爬的作用。经过再三尝试摸索,最终解决问题。解决的核心很简单,就是10页以上就更换coo...
2019-12-13 22:10:16
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人