2017年10月_夜空07

原创 Shell 脚本遍历文件找出包含特定字符串的行数

#!/bin/bash printf "*************************************\n" a=0 while read line do [[ $line =~ "css" ]] && ((a++)) done < test.txt echo $a

2017-10-27 17:21:51 5262

原创 Intellij Idea 分别用Java和scala 实现wordcount程序

Java编写Spark WordCount程序 package com.Spark.wordCount; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRD

2017-10-25 15:31:16 867

转载 idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

1、创建基于maven的scala项目步骤（1）创建一个maven项目 File->new project -> maven 不需要选择archetype，直接点击Next Next Finish,完成创建。项目目录如下: （2）将scala添加到项目中 Add framework support 选择scala，以及对应的scala-sdk,完成

2017-10-25 09:32:03 388

原创 Intellij Idea Linux环境下新建Maven（java）和Scala工程

Maven工程 1.新建Maven工程，用Java编写Spark的WordCount程序 2.在弹出的界面选择左侧Maven项目，SDK选择自己按安装的jdk，点击next按钮 3.填写 GropId 和ArtifactId，点击next按钮 4.填写工程名称和选择工程存放的位置，点击next继续 5.在新建的Maven项目中，找到Pom.xml文件，添加配置

2017-10-24 17:15:41 667

转载 Linux 下安装IntelliJ IDEA Community Edition

无知人生，记录点滴不积跬步，无以至千里；不积小流，无以成江海…… 目录视图摘要视图订阅发布Chat 异步赠书：10月Python畅销书升级【线路图】人工智能到底学什么？！程序员10月书讯每周荐书（京东篇）：618取胜之道、质量保障、技术解密） Linux 下安装IntelliJ

2017-10-24 10:39:13 387 2

转载 eclipse配置spark开发环境

前言　　无论Windows 或Linux 操作系统，构建Spark 开发环境的思路一致，基于Eclipse 或Idea，通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、Scala 或Python 环境，然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下：　　第一步：安装JDK

2017-10-23 16:43:17 6079

原创 Java Ecplise 导出Jar包

1.选择某个项目，点击右键选择export 2.在弹出的窗口选择Java 的EAR file，点击 next按钮 3.在新弹出的窗口选择导出Jar包的位置和名字，然后点击next的按钮，新窗口默认，再点击next的按钮 4.在新窗口中选择导出项目的主类（Main Class），然后点击Finish按钮，然后Jar包就会导出到指定位置

2017-10-20 09:54:23 424

原创 HBase伪分布式安装和 hbase shell简单命令使用

Hbase安装分三步： 1. 加入环境变量 2.编辑hbase-env.sh文件 3.编辑hbase-site.xml 文件前提条件是安装好hadoop，以下展开说明 1. 加入环境变量 export HBASE_HOME=/opt/modules/hbase-0.98.6-cdh5.3.6 export PATH=$PATH:$HBASE_HOME/bin 2.

2017-10-16 17:37:26 434

weixin_38655836的博客