2018年02月_戴翔的技术博客

11月 10月 09月 08月 06月 05月 04月 03月 02月 01月

原创 Hadoop hdfs基本操作命令

列出HDFS文件：hadoop fs –ls [-R]a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容；b) -R 列出目录的同时，列出子目录的内容；c)如果要列出某个文件夹中的内容，则-ls后面跟该文件夹的路径，例如列出input中的内容：hadoop fs –ls input在HDFS中创建文件夹：hadoop fs –mk...

2018-02-28 18:54:13 1756

原创 CentOS7安装后连不上网络无法使用yum

问题再现笔者今天在本地VMware中安装了CentOS7后，使用yum安装wget的时候发现不能下载，并有下图所示的提示：修改文件使用如下命令修改ifcfg-ens33文件（每个人的文件名称可能不一样），将ONBOOT:no修改为ONBOOT:yesvi /etc/sysconfig/network-scripts/ifcfg-ens33然后再重启网络就可以了：se...

2018-02-15 12:46:44 12002 3

转载 pandas.DataFrame选取/排除特定行

pandas.DataFrame选取特定行使用Python进行数据分析时，经常要使用到的一个数据结构就是pandas的DataFrame，如果我们想要像Excel的筛选那样，只要其中的一行或某几行，可以使用isin()方法，将需要的行的值以列表方式传入，还可以传入字典，指定列进行筛选。>>> df = pd.DataFrame([['GD', 'GX', 'FJ'],...

2018-02-08 08:36:38 30335 2

原创使用python随机生成指定位数的数字

使用python随机生成指定位数的数字import randomj = 4id = []id = ''.join(str(i) for i in random.sample(range(0,9),j)) # sample(seq, n) 从序列seq中选择n个随机且独立的元素；print id...

2018-02-06 16:51:16 23006 4

原创使用merge连接DataFrame时出现大量空值

问题再现merge具有连接的功能，左连接更是在数据处理中最常用的连接方式。笔者在使用merge方法连接两个DataFrame数据时，出现了大量空值的情况： film userid score 上映时间闭映时间出品公司导演主角影片类型票房/万评分0 《分手再说我爱你》 1344 9.0 NaN NaN

2018-02-05 16:09:21 5474

原创 DataFrame中去除指定列为空的行

一次，笔者在处理数据时想去除DataFrame中指定列的值为空的这一行，采用了如下做法，但是怎么都没有成功：# encoding: utf-8import pandas as pdimport mathimport numpy as npdata = pd.read_csv('mydata.csv')print len(data)for i in range(len(data))

2018-02-05 15:57:13 12699 1

原创搭建hadoop平台时遇到的问题及解决方法

笔者最近在搭建伪分布式hadoop平台的时候，遇到了一些问题，在解决了这些问题之后就将问题及解决方法记录了下来，以供参考。出现的问题1hadoop@daixiang-virtual-machine:/usr/local/hadoop/etc/hadoop$ start-dfs.shIncorrect configuration: namenode address dfs.namenode

2018-02-05 08:10:58 4937

原创使用VirtualBox安装Ubuntu

使用VirtualBox安装Ubuntu时，一般系统会弹出重新启动的对话框，选择重新启动即可，但是，笔者今天使用VirtualBox安装Ubuntu时并没有弹出重新启动对话框，而是停止在下面的这个界面：这时候，需要我们手动重启虚拟机，在VirtualBox的菜单栏选择【控制】–【重启】。重启之后，就可以正常使用了。

2018-02-04 09:09:03 376

原创 ubuntu安装openssh-server报依赖错误的解决方法

系统环境Linux user #50~14.04.1-Ubuntu SMP Wed Jul 13 01:06:37 UTC 2016 i686 i686 i686 GNU/Linux报错问题执行以下命令安装openssh-server:sudo apt-get install openssh-server笔者并没有安装成功，并且收到如下提示：下列软件包有未满

2018-02-02 08:54:56 14716 7