理想与少年-CSDN博客

原创 python编码恩怨录

在python里面，中文的编码问题是特别麻烦的问题，所以为了更好的解决这个问题，就简单整理关于编码的内容1.编码背景：比特与字节：都知道计算机其实最终都会把所有的信息都变成0,1二进制比特位（bit），但是如果都是01这样的数字，正常人肯定记不住，所以就会最开始用8个二进制来表示一个字节（byte）。ASCII码：20世纪初的时候，美国制定了一套字符编码，将英文与二进制进行了一个对应，这...

2019-02-13 15:00:52 170

原创【机器学习总结】线性回归

线性回归是机器学习里面最常见的学习模型。基本线性方程：1.思想：用一个线性组合的方程去拟合数据，系数则可以告诉我们哪些特征有用，哪些没用。 2.基本形式：微分形式： y=a1x1+a2x2+...+adxd+dy = a_1x_1+a_2x_2+...+a_dx_d+d 矩阵形式： y=WTX+by = W^TX + b 。其中W=(w1;w2;...;wd)W = (w_1;w_

2017-03-29 11:38:22 664

原创【机器学习总结】CV制作方法

最近在参加KDD2017的比赛，之前一直都做的挺乱的，感觉没有一个系统的分析数据，所以今天请教了一下大神，请教了一下他是怎么参与这种比赛的。首先如果想取得一份好的成绩，那么CV就非常有必要。但是想取一份好的CV不是那么容易，需要非常复杂的工作程序才能获得。在这里简单记录一下CV的制作方式： 1）首先我们统计一下测试集的特征分布 2）我们去在训练集里面找与测

2017-03-28 22:02:31 2690

原创 CentOS升级Python2.7

自己的Ubantu系统出了问题，然后心血来潮突给自己的电脑换一个CentOS系统。好不容易装好，结果发现一个好的坑，Centos自带的Python版本太低了,连Networkx的包都装不了，于是就开始了更新之路。首先是看一下python的版本:python -V,然后发现就只有2.6.6。没办法只能去更新了。 1）先去下一个Python比较新的包，我用的是2.7.3。转到你想下载的目

2017-01-07 14:26:00 365

原创爬一爬糗事百科

这段时间在学python爬虫，就先拿糗事百科下手，教程是学点击打开链接这个的，但是我学的时候，糗事百科改版了，所以之前的正则表达式就不能用了，要自己写。思路还是一样，先用hearders跳过验证，然后用urllib2.Request()和urllib2.urlopen()来获取网页内容，最后用正则式提取所想要的内容。我提取的是作者、内容、点赞数和评论数。在这里特别说一下我觉

2016-10-04 21:50:54 307

原创 Hadoop跑程序报超过内存错误

实验跑一个900多兆网络pagerank值，我用的是python程序跑，但是单机跑不了（因为这个网络非常大，所以矩阵计算特别占内存），于是需要借助Hadoop来计算。但是hadoop开始跑的时候还是跑不了，报溢出内存错误。查网上有说修改mapred-site.xml文件，但是这样很麻烦，你需要一个个点去配置，很麻烦。其实这里有两类方法，一种是调内存，第二种就是增加mapper。而这里都有一种

2016-08-31 22:22:26 1566

转载使用Python实现Hadoop MapReduce程序

转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python转自：使用python实现Hadoop MapReduce根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序，打字很浪费时间滴。

2016-08-06 19:53:27 336

原创 libpython2.7.so.1.0 cannot open的解决方法

很多情况大家在网络上搜到的方法类似于这样的：在/etc/ld.so.conf中加入新行/usr/local/lib 保存后，运行 /sbin/ldconfig /sbin/ldconfig –v但是前提是你要确定你的libpython2.7.so.1.0是在/usr/local/lib下面，但是像我今天装，我的libpython2.7.so

2016-05-05 00:06:50 1494

转载强大的矩阵奇异值分解(SVD)及其应用

2016-04-19 15:36:11 287

原创 sendmail邮件无法发出

今天实验室用phabricator的时候发现又不能自动发邮件了，我明明哪里都没有动，怎么又不能发送邮件了呢？开始我以为是phabricator自己的问题，然后./mail list-outbound看发邮件的日志，显示的是sent（发送）的情况，然后我自己试了试给自己发邮件，但是就没有收到。于是我开始看/var/mail/root里面发的邮件到11号就没有记录了，我就很奇怪。然后我

2016-04-16 21:53:04 775

原创 phabricator邮件发送问题解决

phabricator配置好了以后，但是没有邮件通知功能。为了能更好的发挥phabricator在工作流控制的功能，需要配置邮箱服务。首先，我给201服务器上面配置了sendmail的邮件，很简单，按着教程一步步配置就可以了。但是配置完成以后发现一个问题，那就是发出的邮件一个都收不到！开始以为是我配置的问题，后面查看/var/pool/mail/root的时候发现，原来不是没有发出去，而...

2016-03-28 17:30:08 5765 3

理想与少年