IT之路
文章平均质量分 81
Aitu
真正的大师,永远怀着一颗学徒的心!!
展开
-
read 的用法及各项含义
1、shell中read及各项含义-a:将键入的内容读到 某自定义变量中(或者说数组中)vi read.sh#!/bin/bashread -a arrayecho ${array}sdbadmin@iZ25sdqd375Z:~/sh> sh read.sh5 55这里我键入了俩个值,但是只显示一个,之后又进行了尝试#!/bin/bashread -原创 2016-09-24 18:29:19 · 3936 阅读 · 0 评论 -
shell并发小程序
每天一点记录,每天一点成长原创 2016-09-25 15:06:08 · 247 阅读 · 0 评论 -
mount 挂载
linux mount挂载命令详解转载 2016-10-13 16:24:17 · 365 阅读 · 0 评论 -
hadoop fs -put 上传文件失败
16/10/08 21:35:27 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /aaa/aa.txt._COPYING_ could only be replicated to 0 nodes instead of min原创 2016-10-08 13:42:03 · 4570 阅读 · 0 评论 -
CDH 5.8 installation
CDH 安装简要原创 2016-11-25 10:23:21 · 352 阅读 · 0 评论 -
Scala 造数据脚本,方便Spark做测试用
苦于spark 无数据可测试,于是就动手写了些scala 程序用来造百G 或更多的数据,以方便spark sql 做测试使用,之前在某影视公司面试的面试题数据结构,我就按这个来进行造数据。结构一共6个字段:DataStructure("ID","Username","Userage","PhoneType,"Click","LoginTime")数据预览:1,Role97,16,MI,原创 2016-12-09 09:26:06 · 2386 阅读 · 1 评论 -
spark sql 测试小程序
这一篇是对上一篇造数据脚本的应用,造出的数据大概3.5G左右,然后再intellj idea 中跑了一下,效果不错,当然只能是本地跑了。下为代码:package main.scala.UserPlatformCountimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Row, SQLContext}原创 2016-12-09 12:48:26 · 371 阅读 · 0 评论 -
Python 利用字典合并文件
这个要求是这样的:将俩个文件合并为一个文件,这俩文件具有相同的第一列,合并后的文件为 第一列只有一列 其他列追加,与下图cc.txt 相同aa.txt1 442 653 644 43bb.txt1 542 663 684 49代码:import sysprint sys.path[0]with open(sys.path[0]+'\\aa.txt','r')原创 2017-06-02 11:38:31 · 439 阅读 · 0 评论