wuscar0703-CSDN博客

原创 spring boot学习系列之使用IntellijIDEA建立第一个spring boot 项目

前面的话：最近在学习Spring boot框架，记录下自己学习的内容，方便后续查阅或者大家一起来学习。利用IntellijIDEA建立第一个spring boot 项目

2020-03-31 11:45:44 160

转载 SPARK RDD JAVA API 用法指南

1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Pyt...

2019-08-07 09:56:05 263

原创 Spark：org.apache.spark.SparkException: Task not serializable

最近调式Java语言写spark SQL 访问HBase数据表，遇到标题所述的问题，先描述下问题出现过程，然后讲述下问题解决办法。第一，在单独类中调式代码，能成功返回HBase数据，并展示出来：public class testSQLFinal { public static void main(String[] args)throws IOException { ...

2019-08-07 09:15:32 400

原创 phoenix安装问题

业务需要，使用phoenix来操作hbase，按照安装说明文档，就是不能正确连接。遇到问题如下：1、问题一：问题描述：运行sqlline.py master 一直停顿在WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes...

2019-07-10 11:42:08 2551 1

原创 Sqoop shell之 My SQL

1、查看mysql中所有的数据库sqoop list-databases --connect jdbc:mysql://192.168.80.1/ --username root --password XXX2、查看mysql中数据库中的表sqoop list-tables --connect jdbc:mysql://192.168.80.1/test --username root...

2019-04-17 10:59:54 243

原创 Sqoop shell 之MS SQL

1、sqoop 查看MS SQL服务器上所有的数据库 sqoop list-databases --connect jdbc:sqlserver://192.168.80.1 --username sa --password XXX2、sqoop查看MS SQL服务器上某个数据库的所有表名sqoop list-tables --connect jdbc:sqlserver://1...

2019-04-17 10:58:13 154

原创 Spark入门系列之Spark 生态系统 ing

在大数据系统处理方面，主要处理的是三大类数据：复杂的批量数据处理； -----------------------数十分钟 --->数小时，MR模型，spark core基于历史数据的交互式查询；--------------------数十分钟 --->数分钟，hive，Impala，spark SQL基于事实数据流的数据处理。----------------...

2019-02-28 16:43:28 234

原创 Spark入门系列之Spark 简介

Spark是一种基于内存计算的大数据并行计算框架，用于构建大型的低延迟的数据分析程序。1、Spark生态系统的特点：运行速度快：使用DAD执行引擎，支持循坏数据流与内存计算；容易使用：支持scala、java、python、R语言，还可使用spark-shell 交互式编程方式；通用性强：spark生态系统提供完整的技术栈，包括SQL查询，流式计算，运行模...

2019-02-28 16:38:34 242

原创 HDFS-java.io.IOException: Unable to create new block.

Hadoop集群运行正常，开启hive，load数据进表示发现load不进去，就尝试hdfs put一个文件到hdfs上，发现hdfs上put文件报如下错误，而看NN和DN log均没有报错，而且每次put一次，报错的机器并不完全一致（集群默认3个副本，4个DN），最后发现是DN防火墙没有关闭，关闭DN的防火墙，文件put成功。...

2018-11-27 13:52:38 2196

原创 centos 批量删除软件

1、uninstall.sh#!/bin/bash################################################################## function: batch uninstall rpm packages# setup:# 1. copy the scripts and save as a file, s...

2018-11-23 10:48:38 773

原创 Hadoop子模块的介绍

Hadoop2.x成员模块介绍 Zookeeper担任三种角色，领导者，学习者，客户端，主要是一种协调hadoop的机制。 |---领导者负责投票的发起和决议，更新系统状态。 |---学习者--|--跟随者--用于接收客户端的请求并向客户端返回结点，在选过程中负责参与投票 |--观察者--可以接受客户端的连接，将写请求转发给领导者，但观察者不参与投票，...

2018-10-09 08:55:20 160

1、MVC模式简介MVC是三个单词的首字母缩写，它们是Model（模型）、View（视图）和Controller（控制）。这个模式认为，程序不论简单或复杂，从结构上看，都可以分成三层。1）最上面的一层，是直接面向最终用户的"视图层"（View）。它是提供给用户的操作界面，是程序的外壳。2）最底下的一层，是核心的"数据层"（Model），也就是程序需要操作的数据或信息。3）中间的一层，就是"控制层"...

2018-05-17 22:34:19 200

转载 Left Join

一、概念：–把left join左边的表的记录全部找出来。系统会先用表A和表B做个笛卡儿积，然后以表A为基表，去掉笛卡儿积中表A部分为NULL的记录。最后形成你的结果。–进行左连接时，就有涉及到主表、辅表，这时主表条件写在WHERE之后，辅表条件写在ON后面。二、实例1、表a结构和数据table a(id, type):id type -----

2017-06-15 11:58:34 200

原创 Linux 中变量$#,$@,$0,$1,$2..等的含义

$# 是传给脚本的参数个数$0 是脚本本身的名字$1 是传递给该shell脚本的第一个参数$2 是传递给该shell脚本的第二个参数$@ 是传给脚本的所有参数的列表$* 是以一个单字符串显示所有向脚本传递的参数，与位置变量不同，参数可超过9个$$ 是脚本运行的当前进程ID号$? 是显示最后命令的退出状态，0表示没有错误，其

2017-06-06 09:09:16 1142

原创 POSSIBLE DNS SPOOFING DETECTED! 错误解决方案

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: POSSIBLE DNS SPOOFING DETECTED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@The RSA host key

2016-12-23 23:07:55 3275

原创 Hadoop三种模式详解

一、Hadoop的三种模式：1、独立模式（本地模式） standalone默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskT

2016-11-21 15:00:21 4384

原创 Hadoop 的模块结构

Hadoop是用来干什么的呢？处理海量数据：量的大，多， PB --ZB|------>存储：分布式，集群的概念，管理（主节点，从节点），| HDFS （hadoop distributed Filesystem）|------>分析：分布式，并行，离线并行的计算框架，管理（主，从节点）对应mapreduceHadoop的特点以及思想

2016-11-18 17:06:27 2861

原创 Ubuntu 下安装hadoop

0.创建/soft目录，并更改用户和组$>sudo mkdir /soft$>sudo chown ubuntu:ubuntu /soft1.安装jdka.复制jdk-8u65-linux-x64.tar.gz到 ~/Downloads(这里采取的是从mnt文件夹下面复制，我们可以利用vmware的复制功能，直接复制到Downloads)$>cp /mnt/hgfs/down

2016-11-18 16:30:27 335

原创 Ubuntu SSH安装详解

一、ubuntu单机系统中安装ssh 1.安装ssh$>sudo apt-get install ssh2.查看进程$>ps -Af | grep ssh$>....sshd //守护进程3.生成公司秘钥$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa4.生成公钥和私钥$>~/.ssh/id_rsa

2016-11-18 16:03:55 460

转载 java内存管理

原文地址：http://www.rowkey.me/blog/2016/05/07/javamm/目录一. 背景知识二. Jvm虚拟机内存简介三. 垃圾收集四. Java7、8带来的一些变化对于一个Java程序员来说，大多数情况下的确是无需对内存的分配、释放做太多考虑，对Jvm也无需有多么深的理解的。但是在写程序的过程中却也往往因为这样而造成了一些不容易察觉

2016-11-14 16:48:24 297

原创数据库常见时间函数的用法

1、MySQL 数据库 NOW()返回当前的日期和时间CURDATE()返回当前的日期CURTIME()返回当前的时间DATE()提取日期或日期/时间表达式的日期部分EXTRACT()返回日期/时间按的单独部分DATE_ADD()给日期添加

2016-11-14 15:10:37 13774

原创 java中关于时间的用法示例

除了lambda表达式，stream以及几个小的改进之外，Java 8还引入了一套全新的时间日期API，在本篇教程中我们将通过几个简单的任务示例来学习如何使用Java 8的这套API。Java对日期，日历及时间的处理一直以来都饱受诟病，尤其是它决定将java.util.Date定义为可修改的以及将SimpleDateFormat实现成非线程安全的。看来Java已经意识到需要为时间及日期功能提供更好

2016-11-07 09:48:11 1763

原创 HashMap的实现原理

＜　转载自http://blog.csdn.net/vking_wang/article/details/14166593，不能转载，只能手动ｃｏｐｙ过来保存下＞1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是

2016-10-31 15:25:31 166

原创 HashSet和HashMap的区别

HashMap和HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是collection框架的一部分，它们让我们能够使用对象的集合。collection框架有自己的接口和实现，主要分为Set接口，Lis

2016-10-31 14:30:44 182

原创 java集合类(三)

Arrays 和collections 一、Arrays Array是Java特有的数组。在你知道所要处理数据元素个数的情况下非常好用。java.util.Arrays 包含了许多处理数据的实用方法： 1、Arrays.asList：可以从 Array 转换成 List。可以作为其他集合类型构造器的参数。 2、Arrays.binarySearch：在一个已排

2016-10-28 15:50:09 227

原创 java集合类详解（二）

一、Vector和ArrayList 1，vector是线程同步的，所以它也是线程安全的，而arraylist是线程异步的，是不安全的。如果不考虑到线程的安全因素，一般用arraylist效率比较高。 2，如果集合中的元素的数目大于目前集合数组的长度时，vector增长率为目前数组长度的100%,而arraylist增长率为目前数组长度的50%.如过在集合中使用数据量比较大

2016-10-28 15:36:26 152

原创 java集合类详解(一)

Collection接口　　Collection是最基本的集合接口，一个Collection代表一组Object，即Collection的元素（Elements）。一些 Collection允许相同的元素而另一些不行。一些能排序而另一些不行。Java SDK不提供直接继承自Collection的类，Java SDK提供的类都是继承自Collection的“子接口”如List和Set。

2016-10-28 15:21:39 175

转载 linux下处理文本文件 sed

首先，Ubuntu将一个文件夹下的文件路径写入txt的方法：ls -R /dir/*.ipg > file.txt;现在需要对txt文件的每行行首加上绝对路径，一开始编写的shell脚本，提示更改成功了，但不知道还要将输出进行重定向，于是换了vim打开文件进行修改。1、首先，因为绝对路径里包含/这样的字符，可以使用\进行转义，假定要修改的文件名为test.txt，要在

2016-10-27 17:01:23 393

原创 Java中的基本类型与包装类型

Java中八种基本数据类型：byte，int， short， long， double，float， char， boolean Java中的包装类有： Byte，Integer，Short，Long，Double，Float，Charactor，Boolean，以及还有，BigInteger、BigDecmail，BigInteger、Bi

2016-10-27 14:13:55 335

原创 String、StringBuffer 和StringBuilder的异同

Java中String、StringBuffer、StringBuilder是编程中经常使用的字符串类。三个类都加了final 修饰符。 1、可变与不可变 String类中使用字符数组保存字符串，如下就是，因为有“final”修饰符，所以可以知道string对象是不可变的。　　　 private final char value[];

2016-10-27 11:48:19 330

原创 Java 面试锦集

1、抽象类和接口的区别：2、关于GC3、关于java语言面向对象的特征4、重载和重写5、阐述静态变量和实例变量的区别。

2016-09-29 15:11:37 553

原创 scala中List的常用方法和作用

方法名方法作用List() 或者Nil空ListList("one","two","three")创建带有三个值的新List[String]val number="one"::"two"::"three"创建带有三个值的新List[String]List("a","b"):::List("c","d") 叠加两个列表n

2016-09-26 16:53:31 1238

转载 java集合面试锦集

Java集合框架（例如基本的数据结构）里包含了最常见的Java常见面试问题。很好地理解集合框架，可以帮助你理解和利用Java的一些高级特性。下面是面试Java核心技术的一些很实用的问题。Q：最常见的数据结构有哪些，在哪些场景下应用它们？A. 大部分人都会遗漏树和图这两种数据结构。树和图都是很有用的数据结构。如果你在回答中提及到它们的话，面试者可能会对你进行进一步进行的考核。

2016-09-23 11:11:59 317

原创 CentOS6.5下安装scala

step1：下载符合操作系统的scala： scala-lang.org step2: 创建scala安装目录step3：解压scala软件到目录 # tar -xzvf /home/scar/Downloads/scala-2.11.8.tgz -C /usr/lib/scala2step4：搭建s

2016-09-01 17:27:57 317