2018年02月_羽翼天宇

原创 CentOS7 修改设置静态IP和DNS

用虚拟机装CentOS7，使用的NAT的网络模式，为了防止再次启动系统的时候网络IP发生变化，因此设置静态IP和DNS。由于CentOS是最小化安装，没有ifconfig命令，因此可以采用ip命令查看。查看IP分配情况：# ip addr发现里边只有一个LOOPBACK的127.0.0.1的回环地址，原来CentOS刚安装后默认是不启动网络连接的。设置IP和DNS主要在下面的配置文件中修改：# c...

2018-02-11 09:51:50 3341 1

原创 Centos 7.2 安装 Mysql 5.7.13

Centos 7.2 安装 Mysql 5.7.13Centos 7.2 安装 Mysql 5.7.131. 下载mysql的repo源CentOS 7.2的yum源中默认没有mysql,要先下载mysql的repo源wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm2. 安装mysql57-community...

2018-02-26 12:47:40 261

原创 intellij idea 导出可执行jar

intellij idea 导出可执行jar 最近开始转到intellij idea上做java开发了，尝试下新鲜事物，别人都在用呢。今天写一个java工具时，想打包成可执行的jar文件，发现犯难了，不知道怎么弄，网上搜索一番，总是看的云里雾里的。经...

2018-02-20 19:19:32 241

原创 sparkstreaming之kafka--Spark Streaming对接Kafka的方式二KafkaDirect

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}import kafka.serializer.StringDecod...

2018-02-18 11:02:18 278

原创 sparkstreaming之kafka--Spark Streaming对接Kafka的方式一KafkaReceiver

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Spark Streaming对接Kafka的方式一 ...

2018-02-18 10:59:18 492

原创 sparkstreaming之flume--Spark Streaming整合Flume的第二种方式Pull

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.flume.FlumeUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Spark Streaming整合Flume的第二种方式...

2018-02-18 10:57:43 174

原创 sparkstreaming之flume--Spark Streaming整合Flume的第一种方式FlumePush

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.flume.FlumeUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Spark Streaming整合Flume的第一种方式...

2018-02-18 10:56:01 222

原创 sparkstreaming之基于flume+kafka+sparkstreaming整合

1.架构处理流程图2.日志产生器开发并结合log4j完成日志的输出test\javaLoggerGenerator.javaimport org.apache.log4j.Logger;/** * 模拟日志产生 */public class LoggerGenerator { private static Logger logger = Logger.getLogger(LoggerGene...

2018-02-18 00:22:33 746

原创 sparkstreaming之kakfa--KafkaProperties

package com.yys.spark.kafka;/** * Kafka常用配置文件 */public class KafkaProperties {//public static final String ZK =“192.168.0.236” public static final String ZK = "spark01:2181"; public static final...

2018-02-17 23:49:12 263

原创 sparkstreaming之kafka--KafkaProducer

package com.yys.spark.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;/** * Kafka生产者 */public class Kaf...

2018-02-17 23:48:25 633

原创 sparkstreaming之kafka--KafkaConsumer

package com.yys.spark.kafka;import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.C...

2018-02-17 23:46:57 534

原创 sparkstreaming之kafka---KafkaClientApp

package com.yys.spark.kafka;/** * Kafka Java API测试 */public class KafkaClientApp { public static void main(String[] args) { new KafkaProducer(KafkaProperties.TOPIC).start(); new Kafka...

2018-02-17 23:45:33 150

原创 sparkstreaming之使用Spark Streaming完成有状态统计

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 使用Spark Streaming完成有状态统计 */object StatefulWordCount { def main(args:...

2018-02-17 23:29:25 1112

原创 Spark Streaming之Spark Streaming处理Socket数据

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * Spark Streaming处理Socket数据 * * 测试： nc */object NetworkWordCount { d...

2018-02-17 23:28:27 662

原创 Spark Streaming之使用Spark Streaming完成词频统计，并将结果写入到MySQL数据库中

package com.yys.spark.projectimport java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 使用Spark Streaming完成词频统计，并将结果写入到MySQL数据库中 ...

2018-02-17 23:26:57 1965

原创 Spark Streaming之使用Spark Streaming处理文件系统(local/hdfs)的数据

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 使用Spark Streaming处理文件系统(local/hdfs)的数据 */object FileWordCount { def ...

2018-02-17 23:25:45 338

原创 sparkstreaming---pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x...

2018-02-17 23:22:09 957

原创 Maven——安装与修改Maven的本地仓库路径

Maven——安装与修改Maven的本地仓库路径一、Maven的下载安装配置1.1、下载官网http://maven.apache.org/download.cgi1.2、安装配置apache-maven-3.3.3-bin.zip解压下载的压缩包1.3、配置环境变量配置环境变量（需要先配置好%JAVA_HOME%环境变量）：查看是否配置成功：二、本地仓库 2.1、默认本地仓库在系统当前用户目...

2018-02-17 13:04:10 538

原创 win10下安装scala流程及问题

win10下安装scala流程及问题第一步：Java 设置检测方法前文已说明，这里不再描述。如果还为安装，可以参考我们的Java 开发环境配置。接下来，我们可以从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包(页面底部)，本教程我们将下载 2.11.7版本，如下图所示：下载后，双击 msi 文件，一步步安装即可，安装过程你...

2018-02-16 18:23:48 2335

原创 win10怎么安装JDK8，怎么配置JDK8的环境变量

win10怎么安装JDK8，怎么配置JDK8的环境变量win10出来了，JDK8也出来了，越来越多的小伙伴想在win10上安装JDk8，可是很多小伙伴对安装与配置JDK8还是不熟悉，为解决安装与配置问题，本文详细说明怎么在win10上安装JDK8，方便小伙伴们快速学会安装与配置JDK。工具/原料windows10jdk-8u51-windows-x64.exe方法/步骤1首先，在百度中搜索“JDK...

2018-02-16 17:46:44 704

原创 Python------继承

class people: def __init__(self,name,gender,address,country): self.__name=name self.__gender=gender self.__address=address self.__country=country self.__inf...

2018-02-11 10:46:59 160

原创 Python---NumPy模块

Python---NumPy模块１.NumPy是一个Python科学计算的基础模块。NumPy不但能够完成科学计算的任务，也能够被用作有效的多维数据容器，用于存储和处理大型矩阵。2.在性能上，NumPy比起Python自身的嵌套列表结构要高效的多!!3.NumPy创建数组的多种方式：arr1=np.array([1,2,3])print arr1arr2=np.array([(1.5,2,8....

2018-02-11 10:44:11 256

原创 CentOS7保留默认python版本并安装更新python2和python3两个最新版本（python2和python3共存）

CentOS7保留默认python版本并安装更新python2和python3两个最新版本（python2和python3共存）CentOS 7 默认的python版本是python2.7.5。因为yum依赖于默认的python版本的缘由，所以要先保留默认版本，并修改yum文件头部后，才能开始安装更新python2和python3两个最新版本。（python2和python3共存）一. 保留默认...

2018-02-11 10:36:07 802

原创 Ambari2.5.0与HDP2.6.0集群安装配置

Ambari2.5.0与HDP2.6.0集群安装配置1. 环境准备1.1. 关闭防火墙CentOS 6： chkconfig iptables off service iptables stop chkconfig --list iptables CentOS 7： systemctl disable firewalld.service systemctl stop firewalld.s...

2018-02-11 10:09:08 899

羽翼天宇