自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

陈广智的专栏

志存高远,坚持不懈!!

  • 博客(225)
  • 资源 (4)
  • 论坛 (1)
  • 收藏
  • 关注

原创 利用Selenium配合Chromedriver爬取一个带输入框、选择框和提交按钮的基于AJAX的网页

目录1 介绍2 爬虫代码及其详细解释3 代码运行结果4 总结1 介绍阅读书籍《Python Web Scraping: fetching data from web》1第二版的113页例子时,心情激动,被Selenium的功能所吸引,遂写此博文加以总结。该书上例子直接运行会出错,因为其针对的网页网址已变动。本博文给出的例子已进行相关的修正,那么本博文相比较该书的例子有哪些特色呢?包含以下几点:修正了要爬取的网页的网址。这是正确爬虫的关键。使用的第三方浏览器Chromedriver,因为在Windo

2020-08-24 18:54:13 138

原创 Python中子文件夹中的.py文件引用父文件夹中的.py文件方法

文件夹结构描述文件夹结构是这样的:pythonWS2edCode│└───Chapter01│ │ advanced_link_crawler.py│ └───Chapter02 │ test_scrapers.py现在文件test_scrapers.py中需要:from Chapter01.advanced_link_crawler import download也就是说,要导入父文件夹下的某个module。此时,我们在路径pythonWS2edCode运行

2020-08-24 10:19:54 164

原创 Selenium配合chromedriver爬取网页pythonscraping.com/pages/javascript/ajaxDemo.html遇到的问题记录

1 介绍Selenium是最初用于网站测试的工具,现在广泛用于网络爬虫。配合某个浏览器工具,其能自动加载网页,获取所需的数据,也能获取网页快照和判断某个事件是否在网站上发生。利用urllib.request.urlopen、或者requests.get()等方法爬取网页有一个不适用的场景是:当网页是一个JavaScript驱动时。这时得到的是预加载的内容,而不是自己真正想要的内容。如果此时,我们用浏览器手工看到的网页内容,将会与爬取的html代码不一致。在这种情况下Selenium能大显身手。Sele

2020-08-23 10:51:17 196

原创 用于LaTeX Python代码展现的minted包的安装及运行该包时TeXworks编译命令的设置

目录1 介绍2 安装包minted的方法3 在Windows下配置TeXworks的针对minted包的编译指令4 minted包的运行示例1 介绍早有利于LaTeX\LaTeXLATE​X排版Python代码的需求,前年我用过pythonhighlight1包,感觉字体、高亮色彩、代码行号显示等方面做的不符合我口味。昨天晚上,思前想去,还是要找一个Python代码展现质量更高的LaTeX\LaTeXLATE​X包。我坚信一定有,至少要和书籍《Web Scraping with Python: Coll

2020-08-21 11:01:51 149

原创 利用BeautifulSoup的find_all()函数查找某个标签且该标签某属性不出现

介绍HTML代码如下:<ul class="sf-r-list"> <li> <a href="/book/77" class="sc-list-cover fl"> <img class="ba_page_prvimg" onload="baImgCenter(this)" badt_outwidth="" src="https://wqxuetang.oss-cn-beijing.aliyuncs.com/cover/0/0/77/77.jpg!m"

2020-08-20 12:06:22 583

原创 Scrapy-1-1-0rc3中的sel.xpath()已被Scrapy-2.3-0中的response.xpath()所替代

介绍最近看了些中英文的爬虫书,基本上都是2017年左右出版的,里面讲解的有关Scrapy的命令、代码等的用法已经运行不通了。我通过查询和阅读Scrapy-2.3-0的帮助文档,发现已经它们已经被新的命令所替代了。这说明Scrapy的版本更新比较快,并且接口的变动也比较快。其中,关于在Scrapy 1.1.0版本中,scrapy shell命令下,利用xpath()方法的接口发生了变化:#mermaid-svg-LSmLWubsLAmJ5mOq .label{font-family:'trebuchet

2020-08-19 11:27:33 54

原创 写CSS选择器时标签的class属性值中有空格的问题

1 问题描述HTML代码片段为:<div class="alert alert-warning"> 请至“随书下载”下载本书的示例程序。</div><div class="book-intro readmore"> 本书通过正在学习机器学习的程序员绫乃和她朋友美绪的对话,结合回归和分类的具体问题,逐步讲解了机器学习中实用的数学基础知识。其中,重点讲解了容易成为学习绊脚石的数学公式和符号。同时,还通过实际的Python 编程讲解了数学公式的应用,进而加深读

2020-08-18 08:07:56 283

原创 BeautifulSoup.select(selector)函数中参数的选择表达式的书写方法(CSS选择器)二则

1 介绍使用BeautifulSoup从网页中抓取自己需要的信息,有两种常用的方法:使用 find()或者find_all()方法,很方便,很容易直接定位到自己所需要的信息;使用select(selector)方法,能起到与方法1同样的效果。方法2相比较方法1,有一个优点是:当我们写一个通用的爬虫类时,亦即该类爬虫方法代码与网页中的具体的标签无关(同一内容在不同的网页中具体的标签是千变万化的),允许我们将不同网页的信息定位抽象出来(亦即,允许我们书写一个CSS选择器)。下面给出两个书写CSS选

2020-08-17 21:33:58 170 1

原创 爬取新闻网页中的<P>的匹配问题

问题描述爬取新闻网页,HTML代码如下:<div id=ozoom style="ZOOM: 100%"><founder-content><P> 上图:1953年3月11日,我国第一座自动化的炼铁炉——鞍山钢铁公司第8号炼铁炉开始出铁了。铁水经过化验,质量很好。这是开始出铁时,冶金部门的领导同志、苏联专家等正在参观的情形。</P>....看到上述新闻主体内容写入到<P></P>中,我在爬虫代码中匹配时写的仍然是大写

2020-08-17 12:26:49 153

原创 爬取网页中链接的正则表达式不匹配“.”的问题

问题描述要爬虫wiki内容描述页的链接,确保这些链接指向新的内容页,为此利用正则表达式,代码如下:# webCrawler.py# date: 2020-08-15from urllib.request import urlopenfrom bs4 import BeautifulSoupimport re # Because Wikipedia cann't be open, we use the following website # alternatives.html = url

2020-08-15 12:28:02 85

原创 Win10系统上安装RoseV7的方法

目录1 介绍2 方法3 注意1 介绍在Win7上如何安装RoseV7,我已制作了相关视频,没问题。考虑到现在大家的电脑都是Win10系统,那么如何在Win10系统上安装RoseV7呢?本文主要讲述该问题【本来我没动力写该问题,但考虑到初学者的经验少,还是写了,以避免他们走弯路】。小注:今天下午,将“IBM.Rational.Rose.Enterprise.v7.0-TFTISO.bin“”文件传到学习通平台,然后下载,学习通平台会将该文件名变为IBM.Rational.Rose.Enterprise

2020-05-24 17:39:02 283

原创 Python中利用BeautifulSoup4反查包含文本内容的标签

目录1 问题引出2 问题分析3 解决方案1 问题引出编写爬取Amazon服装行业数据时,遇到一个问题:根据文本内容Next反查包含它的父标签。请看下面HTML片段<li class="a-last"><a href="/s?k=red+tshirt&amp;i=fashion-mens&amp;page=2&amp;qid=1588904638&a...

2020-05-08 16:38:41 353 1

原创 阅读《Practical web scraping for data science》p161的代码之 Cannot operate on a closed database错误

问题描述最近阅读了一本爬虫方面的书1,按照书上161页的代码原封不动的敲到电脑中,编写一个爬虫蜘蛛,但运行以后出现以下错误:Error closing cursorTraceback (most recent call last):File “E:\StudyCard\BigData\WebScrape\PWSfDScode.pwsenv\lib\site-packages\sqlalc...

2020-04-24 12:30:17 185

原创 Python的包tkinter中的canvas.winfo_height()或canvas.winfo_width()返回值1的解决

目录问题描述解决方案问题描述下述代码:from tkinter import *import randomimport timeclass SnakeHead: def __init__(self,canvas,color): self.canvas = canvas self.id = canvas.create_oval(10,10,25...

2020-04-10 08:20:59 647

原创 禁用和卸载Hyper-V后让自己电脑运行速度快

问题描述去年暑假左右,到电脑城买了一台新电脑,3500元左右,CPU性能一般,为了能让自己电脑运行速度快些,购买电脑时主动增加内存条,达到12G。暑假中,又捡起自己虚拟机方面的兴趣,知道Win10操作系统能够利用Hyper-V的方式支持直接在硬件上虚拟机。于是,我就捣鼓开来。断断续续,中间由于工作的原因,搁置下来,但最后,我取得了成功,在自己的新电脑上成功打开了Hyper-V的组件功能,并利用H...

2020-02-25 23:40:29 755

原创 通过买新电脑a时买的正版"Windows 10 pro for OEM key"升级电脑b操作系统Windows 10 home 到 专业版pro

问题描述一年多前的这个时候,我有一台新电脑bbb,操作系统为Windows 10 home家庭版本。我真正使用Win10 操作系统也是从该电脑开始。而同时一直坚持使用电脑ccc,处于两台电脑bbb和ccc同时使用的状态。电脑ccc安装的操作系统为Win7专业版。一开始接触电脑bbb时,我心理有种不舒服的感觉:毕竟作为电脑专业人员,自己的专业又是计算机软件,用家庭版的Win10操作系统显得不专业。...

2019-07-07 03:16:58 2781 1

原创 用LaTeX通过键盘直接输入特殊符号时不能与其他字符编码包混用

这一点一定要注意。如果混用,则编译输出的结果没效果,即显示不出特殊符号。特殊符号的输入我利用搜狗输入法的软键盘的特殊符号部分输入的。下图通过注释掉其他的字体编码包,从而得到正确的结果:...

2019-07-05 23:57:42 260

原创 TeXworks编辑器的编辑区的中文显示问题

问题描述最近在自己的Win10专业版电脑上安装了TeXlive 2019,重新使用TeXworks编辑器书写文档,但发现了一个问题,如下图所示:编译输出的汉字显示正确,但是在TeXworks的编辑区显示的中文不正确。不正确显示的两个例子已在图中用红色连接线标出。自己试探出的解决方案在编辑区显示不正确的中文,总感觉不舒服,给人一种错觉,纵然编译输出是正确的。所以我就试探了一种解决方案。在...

2019-07-05 20:58:26 1794

原创 使用Camtasia 2018录制视频时设置显示鼠标光标 (Cursor)

问题描述最近,开始使用Camtasia 软件制作教学视频。其中一些软件操作使用方法的视频是通过该软件录制屏幕完成的。通过数次的录制屏幕的操作经验,我使用软件Camtasia越来越熟练。可完美中带有缺憾,录制的视频不带鼠标光标。经过课堂上与热心同学的讨论所受的启发,再加上自己搜索相关资料,最终解决了该问题。注意:我用的版本为 Version 2018.0.3 (Build 3747) -Aug...

2019-06-04 15:58:01 3198

原创 在VMware Workstation 15.0.2 player上利用“事后安装操作系统”的方法安装Win10 64bit不成功及其对策

问题描述当前环境:host OS: Win10 64bit HomeHypervisor: VMware Workstation 15.0.2 player我按照书籍《Virtualization Essentials, Second Edition》(Matthew Portnoy, 2016)中的安装Win10 64bit虚拟机操作系统的方法安装,始终不能成功。该书的方法是:先...

2018-12-31 11:21:03 3448 1

原创 配置DockerHub镜像加速

问题描述在阅读《Docker in Action》书籍第31页的时候,遇到以下代码:sudo docker run -d --name wp --read-only wordpress:4执行上述命令时,反反复复都不能通过,要么就是“Time-out”,要么就是“reset by peer”等等之类的错误提示。一开始,我认为该书前面的命令执行成功了,说明Docker Hub的速度还可以...

2018-12-27 20:01:43 1044

原创 在Ubuntu 18.04上安装Docker CE的详细过程

1问题描述在网上看了相关的资料,自己也买了相关的参考书籍,发现如下问题:参考书上讲解的Docker安装过程简略,虽然是最新出版的书,也显得过时,不符合Ubuntu 18.04的情况;网上很多的Docker安装过程讲解,也比较简略,没深入讲解相关命令的含义,往往选择的是非Ubuntu 18.04版本的Docker安装版本,因为当时针对Ubuntu 18.04版本的Docker还没发布;这些...

2018-12-25 10:20:00 3761 3

原创 Ubuntu 18.04无线网卡安装历险记

问题描述对该问题的解决,耗时数天,曲曲折折。真的可以用“山重水复疑无路”,最后到达了“柳暗花明又一村”。问题环境:Ubuntu 18.04,无线网卡为迅捷(Fast) FW150UH (免驱版)。通过系统的网络Wifi设置找不到Adaptor。先是在网上《Ubuntu 18.04 安装博通(Broadcom)无线网卡驱动》看了相关操作,折腾了大半天,在系统上安装了build-essentia...

2018-12-22 22:00:56 5113 1

原创 利用Ubuntu的U盘安装盘安装build-essential

问题描述这个问题是倒逼出来的。由于前一段时间买了一个二手台式电脑,配置我认为还不错。将其上的Win7系统卸载,重新安装了Ubuntu 18.04。可是安装好Ubuntu后,发现无法使用无线网卡,于是搜索安装无线网卡的资料。按照该资料的提示需安装make等等。我进一步搜索,发现安装build-essential后,相应的依赖都会被安装。于是就产生了本文的问题。搜索过程中,发现有通过CD安装盘安装...

2018-12-22 13:15:05 802

原创 在Lenovo台式机Win7系统基础上直接安装Ubuntu18.04遇到的问题及对策

问题描述今天折腾了一整天,在一个台式机上安装系统。问题产生具体如下:我买了个二手的台式机,主板是联想,内存8G,CPU是i5-2400,4核。买回来时上面安装了Win7操作系统,使用起来非常爽。前几天到购书中心买了近1000元的专业书籍,其中有一本《Virtualization Essentials, Second Edition》(Matthew Portnoy,2016)著。前天我抓住晚...

2018-12-17 02:11:39 624 1

原创 在Windows下使用shutil时书籍《Python GUI Programming Cookbook Second Edition》中代码错误及修正

问题描述在读书籍《Python GUI Programming Cookbook Second Edition》的184页时,有一个利用open file dialog选中文件并复制文件的例子。但我运行该程序时始终无法成功复制文件。我使用的是Anaconda3的Python 3.6.3、Windows7系统运行环境。解决方法将书上相关错误代码改正,同时在目标文件夹地址栏输入完整地址即可。以下...

2018-11-30 11:38:00 310

原创 利用Python requests库从网上下载txt文件时多出一个CR的处理

问题描述读1 的Reading word lists小节时,发现需要从thinkpython2/code/words.txt上下载words.txt文件。我不想利用复制-粘贴的方法构造该文件,想到之前学过的爬虫技术,于是写下如下代码:import requestsr = requests.get('http://greenteapress.com/thinkpython2/code/wor...

2018-11-13 13:29:51 882

原创 Jupyter notebook 转pdf时出现的一个错误(只出现前4页)及原因分析

文章目录问题描述原因分析解决方案问题描述最近迷上了利用Jupyter notebook 为工具学习有关Python语言方面的知识。遇到该错误纯粹是个偶然,这应该算是Jupyter notebook的一个bug。问题的出现是这样的:我读到书籍《Automate the boring stuff with Python》1的170页的时候,有这样一句话:Adding parentheses ...

2018-11-07 20:51:32 1216

原创 利用Beamer做slides时让enumerate内容跨越2个frame显示

问题描述利用beamer做slides,需利用enumerate环境显示一些内容,可是这些内容在一张frame中显示不全(内容多,frame的空间太小);将后面的部分内容放到下一张frame中后,item的编号从一开始编号,没有和前一张frame的编号连续编号。如何将分散在两张frame上的item内容连续编号?需解决的问题代码如下:\begin{frame}[fragile]{实例1:温...

2018-03-07 10:25:39 2681

原创 LaTeX中aux文件引起的错误之解决方法

问题描述本来Tex文件中有一个错误,我修正了该错误。再次编译运行后,仍然会出现错误: 实际上认真阅读错误提示,我们可知:这是仅仅由 aux文件引起的错误。更新tex文件后,没有及时更新aux文件内容,造成二者不一致。问题解决删除aux文件即可解决该问题。出现这种情况的原因多种多样,这里描述的仅仅是一种。请读者在使用的过程中逐渐体会。...

2018-02-11 10:16:32 9668

原创 使用Beamer创建Slides时展现 Visual Basic 代码

问题提出我利用基于LATEX" role="presentation" style="position: relative;">LATEXLATEX\LaTeX的Beamer模板创建slides时,遇到一个问题: ! Illegal parameter number in definition of \test. 1 l.24

2018-02-05 03:38:17 468

原创 LaTeX lstlisting环境中执行LaTeX代码

问题提出有一段Visual Basic 代码,需要在LaTeX文档中生成:Private Sub Form_Click() Print For i = 1 To 5 Print Tab(i); String(6 - i, "▼"); Spc(6); String(i, "▲") Next iEnd Sub我在利用LATEX\LaTeX 排版文档时,书写Visu

2018-01-09 20:32:39 6538 2

原创 UnicodeEncodeError: 'gbk' codec can't encode character '\xc4' 这类问题之解决

问题描述在看书籍《Mark Lutz. Learning Python. 5ed. O’Reilly 2013》的106页的一个例子时,如下:>>> print('sp\xc4m')在我的win7电脑的cmd console中以交互式的方式运行,不仅得不到与书中相同的结果,反而得到以下错误: UnicodeEncodeError: ‘gbk’ codec can’t encode charact

2017-09-13 21:05:11 1352

原创 Word中表的自动断开、且断开处有空白页面的问题之解决

由于最近一段时间比较忙,CSDN博客没有及时更新内容,感觉比较惭愧。今后要让自己充实起来,心中有什么想法要及时写出来,达到以写带学,以学促写的目的。1 问题介绍最近在申请一个科技厅项目,我按照去年的模板,先在一个文档上面写。写好后再在系统上面提交。其中有一个步骤,是正文部分,需要先在科技厅的网上填报系统下载一个文件page2.doc,然后需在该模板中填写自己的内容。当时的情况是:时间比较紧迫,要求在

2017-08-28 15:52:45 33354 2

原创 从失望中走向学业的顺利完成,并顺利实现工作的确定---我的2016

2016年,是我人生中不平凡的一年,其中既充满了失望中的等待、彷徨、苦闷,也充满了事件转机后的瞬间喜悦、感动、和生活的美好。2016年,既有不分昼夜构思论文、写作论文的充实,也有准备答辩前的战战兢兢、紧张激动;既有准备幻灯片、四处奔波进行试讲的疲惫,也有等待面试结果的焦急。我的2016年,注定不平凡,最终又完美收宫。一 学业为准备学位论文答辩,2016年元月到2月间我没回家过年,而是留在学校里进行小

2016-12-30 19:03:24 1844 2

原创 使用Py2Exe for Python3创建自己的exe程序

最近使用Python 3.5写了一个GUI小程序,于是想将该写好的程序发布成一个exe文件,供自己单独使用。至于通过安装的方式使用该程序,我没有探索,感兴趣的读者可以自己摸索。1 介绍我使用的开发环境是python3.4(实际上我是在另一个64位的台式机上,用python3.5开发的,不过代码不用任何修改即可在python3.4上运行),该环境由Anaconda提供。我开发的小GUI软件为merge

2016-12-11 14:53:01 15748

原创 Chrome浏览器显示“Adobe flash player已过期”问题之解决

1 问题描述最近办公室刚分给我一台新的台式电脑,于是我在其上的Win7系统上安装了我喜欢使用的chrome浏览器,版本为: 使用过程中发现一些网页的flash图片或者视频显示不出来,并且出现如下的提示内容(如图中红色椭圆标识): 这一点让人在网页浏览中不爽,获得不好的体验。我是个最求完美的人,想把这个问题解决。在网络上搜索问题的解决答案真是鱼龙混杂。看了几个解决方案,都不能解决问题,尤其

2016-11-24 21:03:09 54319 5

原创 读《人月神话》有感

由于有一些重要的事情,我最近好久没在CSDN上面写博文了。最近,终于忙完了那个重要的事情,中间抓住了几天的空闲时间,得以静下心来认认真真的读了Frederick P.Brooks. Jr.的《人月神话》,封面如下: 这是一本很经典的书,在我9年前读硕士研究生的时候即已知道。3,4年前的时候我读过该书的英文原版,有一种囫囵吞枣的感觉。现在发现师弟的座位上面有一本中文版,特地读一读,再感受下这本书的经

2016-08-30 13:32:23 1188

原创 graphviz画图软件介绍及使用感受

1 介绍一次偶然的机会接触到了画图软件graphviz,它主要用于画有向图、《数据结构》课程里的数据结构图等比较方便。它与tikz的比较为:tikz可以画任何种类的图。因为tikz就相当于你拿着一个画笔,面对一张空白的纸做画,各种位置、布局都要自己控制;graphviz擅长于有向图等。它封装了底层的布局,位置关系等,有一些底层的算法在帮你做这些事情。所以,我认为在graphviz擅长的领域,使

2016-06-06 10:12:59 3450

原创 PLG软件的运行环境设置

1介绍PLG 是一个开源软件,采用Java语言编写,能随机产生模型并以该模型为基础生成仿真实例。我下载了该软件,如下图: 可以看出,该程序是一个jar程序,双击即可运行。2运行环境设置2.1 安装java环境这一点是显然的。我发现该程序是2011年编写的,所以没敢装最新版本的JDK,而使装了jdk-7u45-windows-i586.exe。安装JDK后,并设置好java的CLASSPATH和

2016-06-05 23:12:06 1067

Metamath: a computer program language for pure mathematics

A good book concernning metamath.

2011-06-17

Expert Systems Principles and Programming (Third Edition)

This book combines coverage of expert systems theory with a discussion of practical applications using CLIPS, and expert systems shell widely used in government, industry, and education.

2018-09-07

计算机学院-学生学分问题救助信息登记表

不符合通常学分认定流程的,疑难杂症的处理表格

2017-03-08

The Quick Python Book 2nd

学习python的快速的入门书籍!英文原版书籍,看起来更加原汁原味!

2016-01-26

阿智智的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除