2019年11月_小白的进阶

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创使用python在hadoop下编写map-reduce

Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据。部署hadoop环境，这点可以参考 http://www.powerxing.com/install-hadoop-in-centos/部署hadoop完成...

2019-11-15 15:53:42 1096

原创 SecureCRT上操作SVN

1.从svn下载代码到本地一般新建一个文件夹，下载所需的代码，例如 mkdir code，然后进入code文件夹中，开始进行下载svn co https://svn路径 ./此处需要注意：如果想要下载一整个文件夹下的代码/项目，在填写svn路径时，最后面不要加“/”例如在code文件夹下，操作 svn co https://svn1.baidu.com.cn/search ./ ...

2019-11-15 15:36:13 982

原创 Python中BeautifuSoup库的用法

BeautifulSoup简介Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为...

2019-11-13 19:08:11 745

原创 requests库的 text / content / json的区别

最近在爬一些数据，刚开始用urllib.request 库，一直连不到数据；后来通过CHROME浏览器的F12，发现该网站用的是JSON格式{}'Content-Type': 'application/json',}，不同于以往的提交方式“Content-Type: text/html; charset=utf-8"试了各种方法，一直不能取得数据。看的许多介绍方法中有用“requ...

2019-11-13 16:09:29 3964

原创 urllib、urllib2、requests的区别

urllib和urllib2的区别urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers）urllib.urlopen只接收一个urlurllib 有urlencode,urllib2没有，这也是为什么总是u...

2019-11-13 14:02:37 2979

原创 requests + xpath抓取网站内容

1.Requests第三方的python HTTP库，其口号是“让HTTP服务人类（HTTP for Humans）”，功能丰富，接口简洁优雅，文档也很完备。支持python 2.6-3.5安装通过 pip 安装：pip install requests示例：获取某个网页import requestsr = requests.get('http://www.bai...

2019-11-12 20:27:25 1200

原创 python中dict()的高级用法

collections中defaultdict的用法一、字典的键映射多个值将下面的列表转换成字典一个字典就是一个键对应一个单值得映射，而上面的列表中有相同的键，如果你想要一个键映射多个值，那么就需要将这多个值放到另外的序列中，比如list或者set里面，像下面这样：你可以很方便的使用 collections 模块中的 defaultdict 来构造这样的字典。defau...

2019-11-12 19:24:42 12144 1

原创 python 常用的基础函数汇总

1.reverse()函数用于反向列表中元素。语法：list_1.reverse()该方法没有返回值，但是会对列表的元素进行反向排序。aList = [123, 'xyz', 'zara', 'abc', 'xyz']aList.reverse()for i in aList: print(i)输出结果如下：2.range()函数range() ...

2019-11-08 16:53:51 8769

原创经典算法Semi-Global Matching（SGM）文献笔记（一）

SGM算法源于《Stereo Processing by Semi-Global Matching and Mutual Information》一文，我认为这篇文章是立体匹配算法中最给力的，放眼KITTI可以发现目前排名前五十的算法几乎一半都是对SGM的改进，具有最强的实用价值。SGM中文名称“半全局匹配”，顾名思义，其介于局部算法和全局算法之间，所谓半全局指的是算法既没有只考虑像素的局...

2019-11-06 14:31:17 13488 4

原创经典算法Semi-Global Matching（SGM）文献笔记（二）

上一篇博客中提到了SGM的第一部分，基于分层互信息（HMI）的代价计算，本文继续说说自己对SGM代价聚合部分的理解。SGM的代价聚合，其实仔细看看，这并不是严格意义上的代价聚合，因为SGM是为了优化一个能量函数，这和一般的全局算法一样，如何利用优化算法求解复杂的能量函数才是重中之重，其能量函数如下所示：其中，C(p, Dp)代表的就是基于互信息的代价计算项，后面两项指的是当前像素p和其邻域内所...

2019-11-06 14:31:05 4698