2017年08月_tianyunzqs

12月 11月 10月 09月 08月 07月 06月

转载更改pip源至国内镜像，显著提升下载速度

原文地址：http://blog.csdn.net/lambert310/article/details/52412059经常在使用Python的时候需要安装各种模块，而pip是很强大的模块安装工具，但是由于国外官方pypi经常被墙，导致不可用，所以我们最好是将自己使用的pip源更换一下，这样就能解决被墙导致的装不上库的烦恼。网上有很多可用的源，例如豆瓣：http://pypi.d

2017-08-18 17:18:26 342

转载 Linux 求文件交集差集等

原文地址：http://www.cnblogs.com/ywl925/p/3876314.html使用comm命令假设两个文件FILE1和FILE2用集合A和B表示，FILE1内容如下：123456abceda　　

2017-08-17 17:36:08 283

原创 python爬虫（二）爬取知乎问答

都说知乎上问答的质量挺高，刚学爬虫没几天，现在对其问答内容进行爬虫实验。在知乎首页，通过输入关键词，搜索问题，之后点击问题找到该问题对应的网友回答。根据该过程，爬虫过程需要分为两步：1、通过关键词（Java）搜索问题，得到url=https://www.zhihu.com/search?type=content&q=java，根据该url爬取该页面下所有的问题及其对应的问题id；2

2017-08-13 00:23:04 1480

原创 python爬虫（一）爬取糗事百科

最近需要收集语料，因此学习了一些爬虫的知识，参考网上对糗事百科的爬虫，编写了如下代码#!usr/bin/env python# -*- coding: utf-8 -*-import refrom urllib import requestfor page in range(1, 2): print(page) url = 'http://www.qiushibai

2017-08-12 23:46:33 334

原创将pycharm中项目上传到GitHub

简单记录将pycharm中的项目上传到GitHub的操作过程。1、在GitHub上新建repository，取名example；2、将example仓库clone到本地；3、clone到本地后，在该项目下添加/修改/删除文件，之后push

2017-08-12 23:43:52 1373

原创 numpy中矩阵合并

python中科学计算包numpy中矩阵的合并，需要用到如下两个函数：列合并：np.column_stack() ，其中函数参数为一个tuple行合并：np.row_stack()，其中函数参数为一个tuple>>> import numpy as np>>> a = np.arange(8).reshape(4, -1)>>> print(a)[[0

2017-08-10 10:30:23 2636

原创 awk常用命令---去除重复行

去除下面文本中重复的行java 1python 2c++ 3c 4java 1java 1c++ 3python 8awk命令awk '!x[$0]++' example.txt输出java 1python 2c++ 3c 4python 8 awk 命令是 !x[$0]++，意思是，首先创建一个 map 叫 x，然后用

2017-08-06 14:02:17 1429

原创 awk常用命令---统计某一列标签个数

统计下面文本中，第一列文本出现的次数（第2列没什么意义，不是次数）java 1python 2c++ 3c 4java 5java 6c++ 7python 8awk命令如下：awk -F '\t' '{sum[$1]++}END{for(i in sum) print i "\t" sum[i]}' example.txtjava 3c 1

2017-08-06 13:55:56 9270