Yangirl_Sunny的博客

1.安装包下载：https://www.axure.com.cn/3510/选择镜像模式即可，注意一路下一步即可，最后运行处不勾选，finish即可。2.汉化包下载：https://www.axureshop.com/a/3615.html汉化包下载好，解压完毕，将lang文件夹复制到，安装路径下。**3.激活过程：**运行Axure,在提示页面选择授权（右上角小字）按提示输入激活码（被授...

正则表达式定义： 正则表达式是对字符串操作的一种逻辑公式，就是 事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符”，这个“规则字符” 来表达对字符的一种过滤逻辑。（这个我目前没有常用，就随便看一下基本使用好啦~~~，偷懒中~）工具： 打开开源中国提供的正则表达式测试工具http://tool.oschina.net/regex/，输入待匹配的文本，然后选择常用的正则表达式，...

Requests是用python语言基于urllib编写的，但相对比于urllib.request库的繁琐，python提供了一套更为便捷的网络请求方法即requests库。一.基本方法1.GET请求get这个API所写的底层函数如下，必须传参为URL，可选参数有params以及其他自定义等等,参数传入为字典形式，requests会自动编码成url形式。查看源码：（1）第一层源码（2...

一、使用场景不同造成需求差异：需求点VS需求面C端产品，解决的是用户在生活场景中的需求痛点。 落实到C端产品身上，往往解决的是某个具体的需求。 C端产品是以具体的功能点占据用户心智，解决个人用户的生活需求。很少有产品是一上线就要打包解决用户需求的，大都是先确立自身的产品定位及价值，然后慢慢优化丰富产品功能。C端产品要满足的正是千万个人用户的个人生活需求。 C端产品经理针对于不同用户在不同的场景...

一.简单介绍urllib库：是python的内置请求库，常用于网页的请求访问。包括以下模块：urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块二.实践操作（1）针对含参数访问import urllib.requestimport urllib.pa...

1.在pyspider框架运行的时候出现HTTP 599: SSL certificate problem: unable to get local issuer certificate错误（1）如图：(2)原因：这个错误会发生在请求 https 开头的网址，SSL 验证错误，证书有误。(3)解决办法：使用 self.crawl(url, callback=self.index_pa...

从on_start开始调用，回调至index_page,(.doc)是一个pyquery请求解析函数.items()是一个pyquery的APIself.crawl会生成一个requestPyspider基本架构：1.scheduler :调度器， 调度程序从处理器的newtask_queue接收任务。确定任务是新任务还是需要重新爬网。2.fetcher:请求器,发送请求；与 ph...

1.什么是爬虫？这里是来自维基百科的定义： 网络爬虫也可称作网络蜘蛛。维基百科：网络爬虫始于一张被称作种子的统一资源地址（URL）列表。当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张“待访列表”，即所谓爬行疆域。此疆域上的URL将会被按照一套策略循环来访问。如果爬虫在执行的过程中复制归档和保存网站上的信息，这些文件通常储存，使他们可以较容易的被查看。阅读和...

1.安装环境需求：（1）java-jdk（2）Android studio-32.安装Java-jdk流程：https://blog.csdn.net/weixin_40928253/article/details/83590136补充环境变量三：CLASSPATH (库lib所在路径)提供程序在运行期寻找所需资源的路径，当我们在开发java程序时需要引用别人写好的类时，要让java知...

关于第一次安装pyspider的过程和坑合集（原环境：win10系统，64位，python3.7）1.安装过程的bug:https://www.cnblogs.com/kerbside/p/9630388.html2.python3.7不兼容pyspider问题(出现占用关键字的问题)：https://blog.csdn.net/wyd117/article/details/849328...