中秋无聊,本想做一个月饼抽奖的工具,
后来想想,好像和阿里没什么交集,还是改做爬药网数据好了
又双叒做了一遍爬虫,没有使用成熟的框架,框架太大伤不起,只是参考了小哥的一个python例子,涉及到save file, 数组, python环境,lxml etree等一些概念
工具例子
etree官方api
【译】:lxml.etree官方文档_anywen5590的博客-CSDN博客
===================================================================
搞了几天,最终由:Python3.2->3.3->3.5,一直用到3.5才算把开发环境稳定下来
选了python3.2下载安装
(真心建议,安装最新版本python(非3.2),由于pack包的原因(如果你不是像我一样经历过JAVA,COCOS2DX的毒打,你是避不开这些冲突坑的),我最终这个文章下面的内容,还是使用了相匹配的版本:python3.2->3.3,最后还是得换成3.5)
安装之后,需要配置一下
(其实从这里隐隐开始就感觉到python还是比较容易获取,但是一堆配置,然后。。。)
直到这里,初用PYTHON,感觉有点像LINUX,又有点像30年前的“低级”程序,所以做好踩坑的准备了吗,Python真的并不会像网上传了那么久的好用,而是一点都不好用;举个栗子:LINUX功能又强大,又容易配置,又入门容易,又迁移容易, 天下间真这么好的事?全部好处你都占满占好了?LINUX是因好用而闻名天下的吗??
(我,你,他,他们,其实使用Python更多是由于“马太效应”,做AI应用的80%都是Python语法,注意是应用,不是研究,所以我们后来做小工具,所算法的则不得不用继续沿用Python;就好像做服务器的90%都是Linux,所以市面上,商城上只能是LInux,真的不是Linux做的有多好,也绝不是没后来者,只是后来者,挑战者要“”爬头“”太难)
说远了,python在win10下的配置如下
-
在高级系统设置面板中点击环境变量。如图所示:
-
在弹出的环境变量设置中找到系统环境变量设置,并选中path选项,双击,或者点击编辑选项。如图所示:
-
在弹出的编辑窗口中,新建一个环境变量为python安装路径。添加后进行保存并退出。如图所示:
设置完环境变量后
在cmd模式下,输入:
python --version
执行方法,同理
我是直接用执行的
因为需要访问url,所以需要安装request模块
import requests
Python爬虫入门requests库的安装与使用 - 不秃不强 - 博客园
一般建议用pip install,所以需要:
Win10下pip的安装_孔天逸'Blog-CSDN博客_win10安装pip
用了python3,所以安装pip方法是??
python3安装.whl文件_dyingstraw的博客-CSDN博客_python3 whl安装
Python As A Valuable Tool
Python主要有2个问题:
1,采取了不需要分号,但进位严谨限制的方式
2,而单引号和双引号,傻傻分不清楚,官方也没明确说支持那个
经常会出现以下错误:
IndentationError: unindent does not match any outer indentation level
如下图,肯定是不行的
一些“小”问题
如果你能看到这里,恭喜你,前面的从0开始的安装python算是完成了,接着就可以开始愉快的编程了,就只剩下一些小Bug而已,真的没什么,很小的BUG,也很少,让我们一起记录下共用多“”少“”??
第一天,
使用Request,碰到的错误
如何解决Requests的SSLError(转) - 奋斗终生 - 博客园ff
第二天,
完全没修改过代码,同样的代码,同样的运行环境,同样地启动main.py, 结果是完全不同的错误(而我甚至不确定解决了第二天的这个问题,第一天的问题是否又跑出来)
https://blog.csdn.net/whatday/article/details/106960653
解决了第一,二天的问题
(临时方法,会落下以下提示,之后再看怎么弄了,留下:TODO)
用到了xml,如何安装库
由于前面配置后了,踩的坑也踩完了,所以直接pip install 解决
升级(重装)了一下Python3.5
一下又都转成Python3.5了
会出现,一些莫名的库没有了,或者不对了,例如
Unknown distribution option: 'python_requires'
解决方法:
安装python-devel,这是python的头文件和静态库包
======================================================
嗯。。。。。。。。。。。。。。。。。。能解决就有鬼了
最终我是用了一个很吊轨的方法解决
下面的,ez_setup请自行下载,然后执行
>python ez_setup.py
就成功安装(packagetool),上面的问题碰到过,没记录,这里其实是第二次安装packagetool了(Python3.3->3.5升级必须重新安装,也没任何提示的)
=======================================================
第三天,基于whl的安装
如果你能直接 pip install lxml,就可以烧高香了
结果当然是不行
我还是用了下载whl的方法:
1.先pip install wheel,不知道有没用
2.下载whl文件: https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
3.pip install xxx.whl,直接写名字,pip就会安装本地
3.1,是的,官方只提供64和win32,总是提示平台不支持
用一个pip命令查看支持類型,,修改whl對應的名字
最終要把:
最後改成:lxml-4.4.3-cp35-none-win_amd64.whl
重點在“none",官方可是一點沒説,結果Python才能正常安裝。。。。。
(我裝的python3.5,pip版本也比較落後,如果你也用的python3.5;千萬不要升級pip,並不支持)
千萬不要升級pip,並不支持
千萬不要升級pip,並不支持
千萬不要升級pip,並不支持