2018年08月_your_blue_sky

原创 gradle

./gradlew distTar./gradlew clean./gradlew debugRun./gradlew assembleDist

2018-08-30 16:58:09 191

原创 Robust Network Traffic Classification

摘要提出RTC（Robust statistical Traffic Classficiation）模型解决zero-day应用问题。提出用于RTC模型参数自动优化的方法。Introduction三种主流流量分类问题的解决方案基于端口（port-based） - 依赖于检测标准端口， - 缺点：不使用标准端口和端口混淆基于pay...

2018-08-30 16:26:05 874

原创 ubuntu redis服务

下载Redis配置Redissudo vim /etc/redis/redis.conf修改bind行，将127.0.0.1修改为*,配置远程可以访问- ubuntu启动Redis服务service redis-server startservice redis-server status以命令行方式进入Redis，分别为本地进入方式与远程进入方式：re...

2018-08-29 15:37:26 3863 1

转载 tmux 常用命令

tmux new -s 会话名 //新起一个会话tmux ls //查看现有的会话tmux a //进入最近的会话tmux a -t 会话名//进入指定会话tumx kill-session -t 会话名 //干掉指定会话control+b //唤起tmux(命令前缀)c //创建新窗口w //查看所有窗口" //横分面板% //竖分面板, //修改窗...

2018-08-29 15:01:33 3731

原创 Spark相对于MapReduce的优势对比

Spark相对于MapReduce的优势MapReduce存在的问题1. MapReduce框架局限性　　1）仅支持Map和Reduce两种操作　　2）处理效率低效。　　　　a）Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据; 任务调度和启动开销大; 　　　　b）无法充分利用内存　　　　c）Map端和Reduce端均需要排序　　3...

2018-08-16 11:20:35 5358

原创 hadoop集群spark配置，jupyter notebook，ubuntu

下载安装jupyter notebook，并配置，详见另一篇博客，jupyter notebook配置安装python包 findspark、pyspark。用findspark.init函数配置集群中spark-client2路径，python路径。import findsparkfindspark.init(spark_home="/usr/hdp/current/spark2...

2018-08-14 22:52:15 672

原创 hadoop单机部署,用来测试

转载自ee900222的博客2. Hadoop安装2.1 安装javaHadoop是使用JAVA写的，所以需要先安装JAVA环境。本次安装的是hadoop-2.7.0，需要JDK 7以上版本。 yum install java-1.7.0-openjdk yum install java-1.7.0-openjdk-devel安装后确认java –vers...

2018-08-11 13:35:49 436

原创第一个wordcount程序

在hadoop集群中，系统自带了许多mapreduce的程序例子，在{%HOME%}/hadoop-mapreduce/hadoop-mapreduce-examples.jar里面有许多小例子，可以在hadoop集群中直接运行命令.当然运行前需要在HDFS上创建input目录和output目录，input目录需要一个输入文件，比如/s_tmp/input/tmp.txt接下来需要创建ou...

2018-08-10 15:44:34 2514 1

转载大数据学习路线推荐

转自：https://www.cnblogs.com/zlslch/p/5448857.html1 Java基础：视频方面：推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。书籍方面：推荐李兴华的《java开发实战经典》...

2018-08-01 11:35:25 4914 1

s37