2016年04月_余音丶未散

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 Spark的安装,编译

Spark的安装与编译 LYTforgood5251、安装JDK2、安装scala3、安装Hadoop2.X4、安装Sparktar -zxvf scala-2.10.4.tgz -C /opt/modules/tar -zxvf spark-1.3.0-bin-2.6.0.tgz -C /opt/modules/export SCALA_HOME=/opt/

2016-04-27 08:54:20 579

原创 spark初步使用

./spark-shell --master local[2] #启动一个本地模式的spark应用 2代表的两个线程启动Hadoop2.x start-dfs.sh start-yarn.sh stop-dfs.sh stop-yarn.sh新建spark项目scala scala 填名称一直下一步File-Project Structure-Artifacts

2016-04-27 08:52:52 534

原创 R语言中的数据框合并

#两个数据框有相同和不同列----合并IDnamescorestudent1student2total_student1total_student1#横向追加----两个数据框不同列IDnamescoresexstudent1student2total_student2total_student2

2016-04-18 20:10:09 10687

原创深入学习JVM笔记三 GC算法与种类

GC 算法与种类GC算法引用计数法--没有被Java采用引用计数器的实现很简单，对于一个对象A，只要有任何一个对象引用了A，则A的引用计数器就加1，当引用失效时，引用计数器就减1。只要对象A的引用计数器的值为0，则对象A就不可能再被使用。引用计数法的问题引用和去引用伴随加法和减法，影响性能很难处理循环引用标记清除标记-清除算法是现代垃圾回收算法的

2016-04-13 09:32:22 545

原创深入学习JVM笔记二堆的分配参数

堆的分配参数-XX:+PrintGCDetails打印GC详细信息-XX:+PrintHeapAtGC每次一次GC后，都打印堆信息-Xmx –Xms指定最大堆和最小堆-Xmx20m -Xms5m System.out.print("Xmx=");System.out.println(Runtime.getRuntime().maxMemory()/1024.0

2016-04-13 09:31:16 563

原创深入学习JVM笔记一JVM启动流程与基本结构

JVM启动流程JVM基本结构PC寄存器每个线程拥有一个PC寄存器在线程创建时创建指向下一条指令的地址执行本地方法时，PC的值为undefined方法区保存装载的类信息类型的常量池字段，方法信息方法字节码通常和永久区(Perm)关联在一起JDK6时，String等常量信息置于方法JDK7时，已经移动到了堆Java堆

2016-04-13 09:28:53 975

原创 R语言累计求和,生成时间列,拼接字符串,批量导入导出

累计求和w<-read.table("E:/bs/sys/每天点击次数的统计（补0）/nucmail.txt",sep="")head(w)w1<-rowSums(w[,c(2:236)]) w<-w$V1length(w)length(w1)x=data.frame(w,w1)write.table (x, file ="E:/bs/sys/nucmail.txt", sep

2016-04-11 19:36:52 8795

原创利用hive完成阿里天池大数据音乐预测比赛数据处理工作

hive shell创建外表，指定目录CREATE EXTERNAL TABLE IF NOT EXISTS songs2 (sid string,aid string,ptime string,sinit int,language int,gender int) COMMENT 'This is the staging page view table'

2016-04-11 19:32:42 2169

原创 linux硬盘挂载

fdisk -l查看硬盘信息挂载命令mount –t ntfs-3g /dev/sdb1 /mnt/usbhd1mount -t ntfs /dev/sdc1 /mnt/usbhd1

2016-04-08 17:28:01 471

原创 linux系统定时器CRON,linux系统的任务计划

设置系统定时器CRON1日志是由业务系统产生的，我们可以设置web服务器每天产生一个新的目录，目录下面会产生多个日志文件，每个日志文件64M。2设置系统定时器CRON，夜间在0点后，向HDFS导入昨天的日志文件。3完成导入后，设置系统定时器，启动MapReduce程序，提取并计算统计指标。4完成计算后，设置系统定时器，从HDFS导出统计指标数据到数据库，方便以后的即使查询。

2016-04-08 17:25:38 778

原创 linux图形界面命令行切换

如果在图形界面下，按：Ctrl+Alt+F2进入如下命令行界面如果在命令行界面下，按：Ctrl+Alt+F2进入如下图界面

2016-04-08 17:24:28 667

原创 linux开机默认进入命令界面

用vi编辑器编辑/etc/inittab文件在文件里面找到 id:5:initdefault这一行，把5改成3 Linux有7个运行级别：init[0123456] 0：关机 1：单用户 2：多用户状态没有网络服务3：多用户状态有网络服务 4：系统未使用保留给用户 5：图形界面 6：重新启动通过快捷键[Ctrl+Shift+Alt+Fn（n

2016-04-08 17:23:03 1207

原创 hadoop参数优化，Mapreduce程序优化，减少运算时间

主要集中在两个方面：一是计算性能方面的优化；二是I/O操作方面的优化1. 任务调度所有的任务能公平地分享系统资源2. 数据预处理与InputSplit的大小合理地设置block块大小 dfs.block.size 默认值是67108864 (64MB)。对于很多情况来说，134217728 (128MB)更加合适可以使用这个命令去修改已存在文件的block size: had

2016-04-08 17:20:22 2204

原创编译hadoop2.6

系统:CentOs6.5_64 在root用户下,必须能联网,1.操作系统编译环境yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst参考yum install glibc-headers　　yum inst

2016-04-07 08:37:44 567

原创贝叶斯公式与mahout贝叶斯分类器

2016-04-07 08:35:07 601

原创 Zookeeper伪分布式安装

Zookeeper伪分布式安装伪分布式集群” 就是在一台PC中，启动多个ZooKeeper的实例tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/modules/修改配置文件conf/zoo.cfgmkdir /home/zookeeper/zookeeper01修改数据存放目录，端口cp /opt/modules/zookeeper-3.4

2016-04-07 08:34:08 602

原创利用web的curl命令进行HDFS操作

web HDFS操作hdfs-site.xml dfs.webhdfs.enabled true 访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口，访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口http:

2016-04-07 08:32:24 3340 1

原创 linux下Tomcat安装

3.安装Tomcat /usr/local/tomcat/webapps service tomcat restart service tomcat stop service tomcat startcd /usr/local/src/wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.14/bin/apache-to

2016-04-07 08:30:52 570

原创 Sqoop安装与学习

Sqoop安装与学习下载sqoop及mysqlconnector并解压tar -zxvf sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz -C /opt/modules/cp mysql-connector-java-5.1.37-bin.jar /opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0/lib/修改bin目录下

2016-04-06 17:34:45 579

原创 Python入门基本语法

Python入门基本语法Python标识符Python不允许标点字符标识符，如@，$和％。Python是一种区分大小写的编程语言Python中不使用括号来表示代码类/函数定义块或流量控制代码块由行缩进，这是严格执行表示多行语句允许使用续行字符（\）表示该行应该继续。例如：total = item_one + \ item_two + \

2016-04-06 17:33:36 1868

原创 Pig安装与简单说明

Pig安装tar -zxvf pig-0.13.0.tar.gz -C /opt/modules/vi /etc/profileexport PIG_HOME=/opt/modules/pig-0.13.0export PATH=$PATH:$PIG_HOME/bin编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容fs.default.n

2016-04-05 17:54:02 539

原创 linux下mysql安装

1、安装查看有没有安装过： yum list installed mysql* rpm -qa | grep mysql* 查看有没有安装包： yum list mysql* 安装mysql客户端： yum install mysql 安装mysql 服务器端：

2016-04-05 17:52:25 325

原创 win7下maven安装

maven 安装win7maven 安装解压新建环境变量MAVEN_HOMEF:\Program Files (x86)\apache-maven-3.3.3PATH%MAVEN_HOME%\bin;测试cmdmvn -v配置本地仓库位置conf/settingsF:\Program Files (x86)\mavenRepository

2016-04-05 17:48:28 701

原创 Mahout安装

tar -zxvf /opt/softwares/mahout-distribution-0.9.tar.gz -C /opt/modules//opt/modules/mahout-distribution-0.9配置Mahout环境变量# set mahout environmentexport MAHOUT_HOME=/opt/modules/mahout-distr

2016-04-05 17:46:22 394

原创 Shell编程入门

Shell有两种执行命令的方式：交互式（Interactive）：解释执行用户的命令，用户输入一条命令，Shell就解释执行一条。批处理（Batch）：用户事先写一个Shell脚本(Script)，其中有很多条命令，让Shell一次把这些命令执行完，而不必一条一条地敲命令。文本编辑器，新建一个文件，扩展名为sh（sh代表shell），扩展名并不影响脚本执行“#!”

2016-04-05 17:42:13 1827

原创 linux学习

linux学习常用快捷键ctrl+C 强制终止当前命令ctrl+r 在历史命令中搜索历史命令文件 ~/.bash_historyctrl+l 清屏 ls -alh显示成KB形式的文件大小ctrl+u 删除整行ctrl+a 光标到命令行行首ctrl+e 光标到命令行行尾ctrl+z 把命令放入后台nohup 你的shell命令 &文件权限第一组字

2016-04-05 17:41:30 433

原创常用的linux文件权限

常用的linux文件权限：444 r--r--r--600 rw-------644 rw-r--r--666 rw-rw-rw-700 rwx------744 rwxr--r--755 rwxr-xr-x777 rwxrwxrwx从左至右，1-3位数字代表文件所有者的权限，4-6位数字代表同组用户的权限，7-9数字代表其他用户的权限。而具体的权限是由数字

2016-04-05 17:39:44 375

原创 linux目录说明

/第一层次结构的根、整个文件系统层次结构的根目录。/bin/需要在单用户模式可用的必要命令（可执行文件）；面向所有用户，例如：cat、ls、cp，和/usr/bin类似。/boot/引导程序文件，例如：kernel、initrd；时常是一个单独的分区[6]/dev/必要设备, 例如：, /dev/n

2016-04-05 17:37:47 405

原创 linux远程命令行安装matlab

安装文件+破解文件网盘地址链接: http://pan.baidu.com/s/1kVtSi8n 密码: 6m23mkdir /media/cdrommkdir /root/matlabmkdir /root/matlab/downloadmkdir /root/matlab/datamkdir /root/matlab/matlabmkdir /root/matl

2016-04-05 17:35:23 1130

原创 linux命令行运行matlab操作说明

linux命令行运行matlab程序nohup matlab -c /root/matlab/matlab/etc/license_405329_R2014a.lic -nodisplay -nojvm /root/matlab/data/bb.out &这里/root/matlab/data/Copy_of_nslunwen.m是你要执行时matlab文件，/root/matlab/

2016-04-05 17:32:43 6657 1

转载 linux命令大全

Linux 常用命令一：关机命令1:shutdown语　　法：shutdown [-efFhknr][-t 秒数][时间][警告信息]说明：shutdown指令可以关闭所有程序，并依用户的需要，进行重新开机或关机的动作。使用shutdown命令时在系统将要关机前，系统管理员会通知所有登录的使用者系统将要关闭。而且login指令会被冻结，即新的用户不能再登录。这是最安全

2016-04-05 17:31:14 422

原创 JQueryEasyUi学习笔记

参考文章http://www.jeasyui.net/tutorial/147.htmlhttp://www.jeasyui.net/demo/483.htmlhttp://blog.csdn.net/fansy1990/article/details/46943657EasyUI 创建 CRUD 应用datagrid：向用户展示列表数据。dialog：创建或编辑一条单一的

2016-04-05 17:30:01 382

原创 linux下JDK安装与主机名设定

删除自带openJDKrpm -qa | grep javarpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64rpm -e --nodeps tzdata-java-2012

2016-04-05 17:28:08 351