- 博客(6)
- 收藏
- 关注
RSS订阅原创 Python网页抓取：获取页面中某段内容的xpath
<br /> 在批量抓取网页内容时，我经常采用的做法是：1、得到目标内容在网页中的位置，即xpath路径；2、批量下载网页，然后利用xpath，取出每个网页中所需要的内容。<br /> 在这里，我们利用python模块lxml。<br /> 以谷歌翻译为例，我要批量抓取翻译内容，那么首先我要知道译文的xpath，代码如下：<br /> import urllib,urllib2import lxmlimport lxml.html as HTMLimport lx
2011-05-09 17:29:00
11896
1
原创 C#中的字符串及其编码转换
<br /> 关于字符编码以及如何在程序中处理unicode，本想写篇文章总结学习一下，但发现有前人已经论述的很完善了，不再重复，可以参考：http://www.regexlab.com/zh/encoding.htm。<br /> 在C++中，字符有char和wchar之分，相应的，字符串有string和wstring两种。C#中，string是一个unicode字符串，相应的，每个char都是16位。<br /> 源文件中出现的字符串常量，都会被自动转换为unicode编码（u
2010-12-23 16:49:00
11722
1
原创 C#窗体的一些总结
最近给一个程序写界面（或者叫做“外壳”），用了C#，纯工程的东西，总结总结，以备将来查看。如何让控件的大小随着窗口变化？（1）把控件放入一个或者多个tablelayoutpabel中，按照需要设置TLP的anchor，设置为上下左右即为随着窗口大小的变化而变化。（2）把控件放入TPL中，按照需要设置控件的docking或者anchor。如果要在一个panel中放置多个控件，则需要设置行和列，每个单元格中一个控件。注意，控件只有在docking被设置为none之后才可以在panel中自由拖动。（3
2010-11-12 14:18:00
1229
原创 Visual C++中按下F5运行与直接双击exe运行的区别
<br /> 今天的一个程序，需要加载一个外部文件dic.dic，路径写死在程序里".//dic.dic"。我把dic.dic拷到debug下，按下F5运行，始终提示找不到dic.dic，在Debug目录中手动双击exe，则运行正常。<br /> 后来发现原因，当按下F5运行时，运行目录不是在Debug下，而是在存放代码的目录下，将dic.dic拷贝到后者中，再次按下F5，顺利运行！
2010-08-09 16:23:00
1626
原创 词形还原-European Language Lemmatizer使用笔记
所谓词形还原(lemmatizer)，即把一个任何形式的英语单词还原到一般形式，与词根还原不同(stemmer)，后者是抽取一个单词的词根。 最近在做跨语言文本分类的研究，需要词形还原，穷搜一番后找到了这个俄罗斯人写的工具，貌似还不错。现在把自己的探索笔记列在这里，以
2010-07-30 23:29:00
3873
8
原创 Red Hat Linux下python lxml的配置安装
手头要做的事情是：从某个资讯网站抓取大量的分类资讯，用于训练一个文本分类器。需要的步骤是：１、下载索引页；２、从索引页中抽取出新闻url；３、下载新闻网页；４、对新闻网页做正文抽取。最后一步我不用担心，手头有现成的正文抽取程序。那么对前三步而言，一种最简单有效的实现方法是用Python：（１）下载可以直接用Python标准组件urllib（http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/pythonhtml/html/html_processing/extrac
2010-07-30 23:22:00
3800
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人