只作为个人备忘录

转载 zookeeper3.4.6集群部署

在安装Zookeeper之前，首先需要确保的就是主机名称(可选)、hosts都已经更改，并且JDK成功安装。 1、安装Zookeeper使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为：“/home/Hadoop”，解压后的Hadoop目录为/home/hadoop/zookeeper-3.4.6”，最好确保Master、Slave1

原创 升序降序

package com.dt.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDD.rddToOrderedRDDFunctionsimport org.apache.spark.rdd.RDD.rddToPairRDDFunct

原创 启动jar在linux spark集群

相对路径./spark-submit --class com.dt.spark.WordCont_Cluster --master spark://7077 /root/Document/SparkApps/WordCont.jar绝对路径/usr/local/spark/spark-1.6.0/bin/spark-submit --class com.dt.spark.WordCon

原创 spark开发第一天

package com.dt.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject WorkCount { def main(args: Array[String]) { /** * 第一步 ：设置spark的配置队形SparkConf，设置Spark运行

原创 spark启动顺序-笔记

1：hadoop的sbin下的dsf数据管理系统2：spark的sbin下的start-all.sh启动系统3：spark的bin下的spark-shell

原创 把linux文件夹压缩成tar.gz的命令

解压 tar zxvf 文件名.tar.gz压缩 tar zcvf 文件名.tar.gz 目标名

原创 scp命令

从 本地 复制到 远程 文件夹所有文件： scp -r scala  root@192.168.190.138:/usr/lib文件： scp  scala  root@192.168.190.138:/usr/lib从 远程 复制到 本地，只要将 从 本地 复制到 远程 的命令 的 后2个参数 调换顺序 即可例如：        

原创 ssh无法root，但能普通用户

Ubuntu下su:authentication failure的解决办法 $ su - rootPassword: su: Authentication failureSorry. 这时候输入 $ sudo passwd rootEnter new UNIX password: Retype new UNIX

原创 iwconfig查看网卡 ifconfig查看ip /etc/init.d/ssh restart

iwconfig查看网卡   ifconfig查看ip   /etc/init.d/ssh restart 开启ssh服务1.查看是否有sshd_config   cat /etc/ssh/sshd_config  //查看是否有sshd_config文件2.如果没有进行安装    sudo apt-get install opensshd-server

原创 vim后，/要搜索字段，n（查找）

vim后，/   要搜索字段，n（查找）

原创 E45: 'readonly' option is set (add ! to override)

如果是root权限,可以:wq!强行保存退出

原创 配置文件jdk和hadoop和scala和spark

~/.bashrc       ~/.profilejdk：export JAVA_HOME=/usr/lib/jvm/javaexport JRE_HOME=${JAVA_HOME}/jre  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  export PATH=${JAVA_HOME}/bin:$PATHhad

转载 ubuntu系统根目录下各个目录用途说明

1、/ 根目录     --------- 所有目录挂在其下2、/boot　     --------- 存放Ubuntu内核和系统启动文件。系统启动时这些文件先被装载。3、/etc　　    --------- 系统的配置文件目录。密码文件、设置网卡信息、环境变量的设置等都在此目录中，许多网络配置文件也在其中。具体参见。4、/lib　　     --------- 根文件系统目录下程

原创 用户切换

一：切换root登陆　 sudo -i是Linux终端命令下改变用户对命令使用权限的命令，例如，在Linux命令终端中，开始为“user@ubuntu:~$”,当使用 该命令后，会出现输入密码的提示，之后输入密码，就会变为“root@ubuntu:~#”，这样就是改变了用户对一些命令的权限。　　sudo-s 执行环境变数中的 SHELL 所指定的 shell ，或是 /etc/passwd

原创 免密要登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys-t参数就是指定要生成的密钥类型，你这里指定的是dsa-P就是你提供的旧密码， ‘’ 表示没有-f是密钥的生成后的保存文件位置

原创 linux etc下的profile和/etc/bashrc

Shell俗称壳（用来区别于内核），是指“提供使用者使用界面”的软件，就是一个命令行解释器。bash 是一个为GNU项目编写的Unix shell，也就是linux用的shell。就是说，bash是一种shell。①/etc/profile: 该文件登录操作系统时，为每个用户设置环境信息，当用户第一次登录时,该文件被执行。也就是说这个文件对每个shell都有效，用于获取系统的环境信息。

原创 使用linux主义的问题

第一点：看看是否有服务，没有则apt-get install第二点：更改文件后更新文件，source  文件第三点：权限，一定要看看权限，否则上传或其他操作则不被允许

原创 linux ssh服务是否已经启动？

linux ssh服务是否已经启动？突然想到，ubuntu貌似默认是不会安装ssh-server的，会默认安装ssh-client，恍然大悟，是不是因为这个原因？于是查看发现，果然没有安装，下面进行安装openssh-serversudo apt-get install openssh-server

转载 linux之间文件传输(转)

linux的scp命令linux 的 scp 命令 可以 在 linux 之间复制 文件 和 目录；==================scp 命令==================scp 可以在 2个 linux 主机间复制文件；命令基本格式：       scp [可选参数] file_source file_target======

原创 怎么解决Ubuntu14.04不能打正确拼音

重启一下

原创 ~/.bashrc什么意思

~/是进入当前用户的主目录。比如我用的用户名是USER那么命令 cd ~/ 就进入了/home/USER 目录。.bashrc 是进入.bashrc文件夹，就是用户目录下的名字是.bashrc的目录。cp xxx/a yyy/b 是复制 xxx目录的a 到 yyy目录的b 也就是b和a的内容是一样的只是名字不一样而已。

原创 Ubuntu系统下常用的新建、删除、拷贝文件命令

常用新建、删除、拷贝命令：　　mkdir 目录名        （新建一个文件夹，文件夹在Linux系统中叫做“目录”）　　touch 文件名        （新建一个空文件） 　　rmdir 目录名        （删除一个空文件夹，文件夹里有内容则不可用）　　rm -rf 非空目录名 （删除一个包含文件的文件夹）　　rm 文件名 文件名 （删除多

原创 chmod +x *.sh 这个命令是为sh文件增加可执行权限； 　　chmod +R 777 *.* 对当前目录下的所有子目录和子文件进行 777权限的变更；通在安装软件时复制相关文件。

chmod +x *.sh 这个命令是为sh文件增加可执行权限；　　chmod +R 777 *.*  对当前目录下的所有子目录和子文件进行 777权限的变更；通在安装软件时复制相关文件。

原创 如果能下载或不能上传试试chmod 755放开读写权限

如果能下载或不能上传试试chmod 755放开读写权限

原创 xftp无法连上ftp但能连上sftp

sftp是安全文件传送协议。为传输文件提供一种安全的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的一部份，可是这种传输方式使用了加密/解密技术，所以传输效率比普通的FTP要低得多。再具体的你可以找一下维基百科，相信他比我说的好，也详细的多。linux虚拟机用sftp能脸上ftp连不上是因为你的linux本身安装了SSH，按照上面说的是SSH的一部份，所以SFTP

原创 gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting

gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now可能是下载链接不是资源链接，而是页面

原创 wget 连接下载超快

wget  连接下载超快

原创 Hadoop下载

原创 线程匹配

package com.testimport actors._, Actor._case class Basic(name: String, age: Int)case class Worker(name: String, age: Int)class basicActor extends Actor { def act() { //Thread的run（） while (tr

原创 implicit隐式转换

package com.testimport scala.util.control.Breaksimport scala.io.Sourceimport java.io.File/** * 隐士类 */object Test { implicit class FileEnch(file: File) { def read: String = Source.fromF

原创 eclipse格式化代码设置

原创 ftp上传下载解决负载均衡上传下载问题

注意问题：首先linux安装ftp服务器http://jingyan.baidu.com/article/7908e85c988b23af481ad2ae.html上传路径要是：1：创建ftp用户的家目录，使用sudo mkdir /home/ftp命令2：设置ftp家目录的权限，我这里为方便直接使用sudo chmod 777 /home/ftp命令将权限设置为777

原创 FileUtils API

一、概述这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。 二、FileUtils读APIJava代码  

原创 yum install iptables #CentOS系统 apt-get install iptables #Debian系统

yum install iptables #CentOS系统apt-get install iptables #Ubuntu系统

原创 Ubuntu安转ftp服务器

netstat -auntp | grep ftp 或者 netstat -auntp | grep 21查看ftp端口号；ifconfig查看ip1首先，更新软件源，保证源是最新的，这样有利于下面在线通过apt-get install命令安装ftp。2使用sudo apt-get install vsftp命令安装vsf

原创 yum

yum可以用于运作rpm包，例如在Fedora系统上对某个软件的管理：安装：yum install 卸载：yum remove 更新：yum update

原创 apt-get install

apt-get可以用于运作deb包，例如在Ubuntu系统上对某个软件的管理：安装：apt-get install 卸载：apt-get remove 更新：apt-get update

原创 启动终端快捷键

Ctrl+Alt+t

转载 plsql 查询结果窗口 不正常

plsql 查询结果窗口 不正常无法更新！！！！kkdengdai123 | 浏览 2446 次  2015-03-24 11:252016-06-23 16:26最佳答案你的sql语句中有全角字符的空格，你需要把它删除掉，换成半角字符的空格就好了

转载 Transport(VMDB)error -44:Message

1.VMware Workstation中新建的虚拟机在开机的时候出现这种错误：Transport(VMDB)error -44:Message-44:Message" title="Transport(VMDB)error -44:Message" style="margin:0px; padding:0px; border:0px; list-style:none">2.这种情