- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 线程的创建和启动
继承Thread类创建线程类通过继承Thread类来创建并启动多线程的步骤：（1）定义Thread类的子类，并重写这个类的run()方法，该run()方法的方法体代表了线程需要完成的任务。因此把run()方法称为线程的执行体。（2）创建Thread子类的实例，即创建线程对象。（3）调用线程对象的start()方法来启动线程。线程类：package com.hadoop.j...
2019-07-29 11:13:08
291
原创 线程概述
进程与线程进程是正在执行的程序，这个程序中的每个任务是由线程完成的。多线程是指一个进程在执行的时候可以产生多个线程，这些线程同时存在，同时运行。虽然这些线程看起来同时运行的，但是，实际上并不是。线程的执行要依赖CPU（中央处理器），一个CPU在一个时间只能执行一条线程，多线程的情况下，CPU在多个线程之间进行快速的切换，这个切换的时间非常短，几乎感觉不到，所以会觉得多个线程是在同时执行。...
2019-07-29 10:24:11
139
原创 存储引擎及数据库基本操作
MySQL存储引擎概念MySQL中的数据用各种不同的技术存储在文件(或内存）中，这些技术都使用不同的存储机制、索引技巧，锁定水平，并且最终提供广泛的、不同的功能。通过选择不同的技术，能够获得额外的速度或功能，从而改善整体功能查询MySQL中支持的存储引擎show engines; 或 show engines \gshow variables like ‘have%’;...
2019-07-15 01:53:29
194
原创 MySQL图形化管理工具
Navicat安装过程Navicat图形化管理工具使用创建数据库(删除数据库)创建表(添加数据，修改数据，更新数据，删除数据)创建Navicat用户导入导出数据还有一种图形化管理工具，phpMyAdmin，在php+mysql开发中，使用较多，在wampserver中集成了phpMyAdmin来管理数据库。...
2019-07-15 00:17:08
675
原创 安装配置MySQL数据库
MySQL优点支持5000万条记录的数据仓库 适应于所有的平台 是开源软件，版本更新较快 性能很出色。纯粹就性能而言，MySQL是相当出色的，因为它包含一个缺省桌面格式MyISAM。MyISAM 数据库与磁盘非常地兼容而不占用过多的CPU和内存。MySQL可以运行于windows系统而不会发生冲突，在UNIX或类似UNIX系统上运行则更好。你还可以通过使用64位处理器来获取额外的一些性能...
2019-07-14 23:56:42
207
原创 MySQL中索引的使用
MySQL索引概述索引是一种将数据库中单列或多列的值进行排序的结构 通过索引查询数据，可以提高查询速度，也可降低服务器的负载MySQL索引分类普通索引(不应用任何限制条件的索引，可在任何数据类型中创建) 唯一索引(索引的值必须唯一) 全文索引(只创建在char、varchar或text类型的字段上) 单列索引(只对应一个字段的索引) 多列索引(在表的多个字段上创建一个索引...
2019-07-10 13:01:57
135
原创 WIN7如何关闭3306端口
关闭windows中被占用的端口1.查找到端口的PID netstat -ano|findstr "3306"TCP 0.0.0.0:3306 0.0.0.0 LISTENING 5468 2.万能的关闭PID进程taskkill /f /pid 5468如果pid找不到，则在Windows任务管理器里，找到"进程"---->"查找"---->"...
2019-07-10 01:19:21
1545
原创 List集合
List和SetCollection有很多子接口，其中，最常用的就是List和Set。List和Set都是接口。List是列表，Set是集。List是可重复的集合，可以通过索引值对元素进行操作。Set是不能重复的集合。ListList使用List的父接口是Collection，所以Collection中的方法List都能使用。现在来看看List特有的常见方法，这些方法有一个...
2019-07-09 17:45:08
126
原创 集合概述
1.1.集合概述集合，在实际开始中占有很重要的地位。集合实际上是一个长度可变的容器，用于存储不同类型的对象。1.2.集合体系集合，它不止一种。集合容器因为内部的数据结构不同，有多种具体容器。不断的向上抽取，就形成了集合框架。把所有集合的共性向上抽取，就产生了集合的根接口Collection。所以集合框架的顶层就是Collection接口，也就是说所有的集合都直接或间接的实现了Col...
2019-07-09 16:44:42
135
原创 IO流基础
填空题 根据流的方向，流可以分为两类：输入流和输出流。 根据操作对象的类型，可以将数据流分为字节流和字符流两种。 在java.io包中有4个基本类：InputStream、OutStream、Reader和Writer类。 选择题 Java语言提供处理不同类型流的类所在的包是（D） A．java.sql B．java.util C．java.math D...
2019-07-09 15:54:46
304
原创 字节流
1.1.1.字节流-操作文件基本演示字节流可以处理的文件类型比字符流要多得多。字节流的顶层基类有InputStream、OutStream，所以以InputStream、OutStream为后缀的都是字节流。字节流与字符流是类似的，所以可以仿照字符流的流程写一下字节流的使用。查看API，字节流中处理的是字节，这是它跟字符流最大的不同，字符流处理的是字符。package com.j...
2019-07-09 14:47:42
145
原创 字符流-缓冲区
在进行文件复制方式二的时候用到了缓冲区，char[] buf = new char[1024];这个就是缓冲区，这个缓冲区是我们自己创建的，使用缓冲区可以提高效率。因为缓冲区可以提高效率，所以Java把缓冲的功能封装起来，称为一个对象。其实缓冲区里面就是封装了一个数组，用来对流所操作的数据进行缓存。缓冲区的出现提高了对数据的读写效率。两个字符流缓冲对象BufferedWriter、Buffe...
2019-07-09 14:17:55
350
原创 字符流-练习
1.复制文本文件方式一在使用计算机的时候，经常会用到复制操作，把一个文本文件从一个位置复制到另一个位置，因为是要操作文本数据，所以使用字符流来实现文件的复制操作。要实现复制操作，那么首先要明确需要读取的源文件，读取了源文件的数据之后，把源文件的数据写到一个新文件里，这个新文件就是目的文件，这就实现的复制操作。1.读取一个已有的文本文件，使用字符读取流和文件相关联。读取当前目录下...
2019-07-09 13:56:08
211
原创 FileReader读取方式
1.读取方式一Reader中读取的方法有读取单个字符的方法（read()），有读取字符数组的方法（read(char[] cbuf)），还有读取部分数组的方法（read(char[] cbuf, int off, int len)）。1.要读取文件，需要创建读取对象。FileReader是用来读取字符文件的便捷类。那么，我们可以用它来创建读取字符数据的流对象。在创建读取流对象...
2019-07-09 13:24:58
1343
原创 字符流-FileWriter(IO流-Writer)
IO包里有很多对象提供使用。这些对象分为两个功能，要么读要么写。字节流的抽象基类，InputStream（输入流），OutputStream（输出流）。字符流的抽象基类，Reader（输入流） ，Writer（输出流）。需求：将一些文字存储到硬盘一个文件中。记住；如果要操作文字数据，建议优先考虑字符流。而且要将数据从内存写到硬盘上，要使用字符流中的输出流，Writer。硬...
2019-07-09 12:47:02
186
原创 File类
1.构造函数&字段java包中提供的一个类File，它代表了与平台无关的文件和目录，目录指的就是文件夹。File类方便对文件与文件夹的属性信息进行操作。private static void constructor(){ //1.File(String pathname)创建一个File对象可以使用路径名直接构建 File f1 = new File("F:\\大...
2019-07-09 12:21:10
140
原创 系统常用配置讲解
1. 首先打开CentOS虚拟机.2. 查看相关的IP地址.3. 使用Xshell来连接虚拟机.4. 连接之后,输入ifconfig来查看IP信息.5. 用户的设置直接输入useradd就会返回该命令的使用帮助.可以看到需要使用-m命令来创建用户的家目录进入home目录中就可以看到多了一个hadoop的目录,这个就是普通用户hadoop的家...
2019-07-07 22:48:56
188
原创 Linux连接工具-Xshell简介
1. 首先打开CentOS虚拟机.2. 查看相关的IP地址.3. 下载相关的Linux远程连接工具比较常用的有SecureCRT(比较好用),Putty(体积小),Xshell(使用最为方便).4. 可以通过点击新建连接按钮,在主机页面输入远程Linux的IP地址,输入之后6. 然后点击确定.7. 出现了警告点击接收并保存8. 输入...
2019-07-07 20:33:50
829
原创 虚拟机通信配置
1. 首先打开CentOS虚拟机.2. 并登录到Linux系统.3. 输入ifconfig命令先查看一下ip.4. 这个时候我们发现除了回环地址以外,我们并不能和外界通信,比如我们可以使用ping命令进行测试.第一条的意思是ping百度 我们ping不通第二条是pingVMware虚拟机中NAT的网关,我们也ping不通,因为NAT的设置中网关是192.1...
2019-07-07 19:46:03
172
原创 CentOS6.5系统安装
1. 点击虚拟机进行安装.点击创建虚拟机.2. 选择自定义安装.3. 下一步4. 点击稍后安装操作系统.5. 选择安装Linux系统,并且Linux的版本选择64位.6. 设置好虚拟机的名称及虚拟机的位置,这里并不建议将其安装在C盘目录下,尽量安装在非系统盘中.7. 处理器的核心数根据实际的需要进行修改.点击下一步.8. 设置虚拟机的内...
2019-07-07 19:11:07
643
原创 Vmware虚拟机的配置
功能菜单介绍文件菜单:物理机虚拟化 映射虚拟磁盘：将虚拟机中的文件可以让物理机进行访问.编辑菜单:虚拟网络编辑器在VMware中，虚拟机的网络连接主要是由VMware创建的虚拟交换机(也叫做虚拟网络)负责实现的，VMware可以根据需要创建多个虚拟网络。在Windows系统的主机上，VMware最多可以创建20个虚拟网络，每个虚拟网络可以连接任意数量的虚拟机网络设备；在Linux...
2019-07-06 16:52:00
367
原创 Vmware虚拟机的安装
在网上搜索下载好VMware11的虚拟机软件.安装步骤:1. 组件的选择.2. 修改安装目录3. 共享虚拟机的位置也进行修改.4. 将启动时检查产品更新去掉.注意：在网上查看相应的VMWare密钥，如1F04Z-6D111-7Z029-AV0Q4-3AEH8...
2019-07-06 13:58:01
268
原创 Vmware虚拟机的介绍
VMware公司简介:威睿（英语：VMware, Inc.）是一家全球著名的软件的公司，它提供云计算和硬件虚拟化的软件和服务，并号称是第一个商业化的成功的虚拟化的x86架构。公司成立于1998年，VMware的总部设在加利福尼亚州帕洛阿尔托。2004年，威睿被易安信公司收购控股持有，然后，在2007年8月14日，易安信公司在纽约证券交易所上市公司所出售的15％控股。该公司在符号VMW下交易。...
2019-07-06 13:40:29
6318
原创 SparkStreaming性能调优
合理的并行度减少批处理所消耗时间的常见方式还有提高并行度。有以下三种方式可以提高并行度：1.增加接收器数目有时如果记录太多导致单台机器来不及读入并分发的话，接收器会成为系统瓶颈。这时你就需要通过创建多个输入DStream（这样会创建多个接收器）来增加接收器数目，然后使用union 来把数据合并为一个数据源。2.将收到的数据显式地重新分区如果接收器数目无法再增加，你可以通过...
2019-07-06 11:19:55
295
原创 Spark生态系统
Spark自有生态圈(以Spark为核心)● 1.3.0 及后续版本中，SchemaRDD 已经改名为DataFrame，DataFrame的概念来自于R语言● 1.4才有Spark R，他是一个R语言包，它提供了轻量级的方式使得可以在R语言中使用Spark● 1.6引入Dataset接口更大的生态圈如何对待● 无需纠结谁替代谁(相互补充)● 以某一个组件...
2019-07-05 12:08:08
1297
原创 Spark 概述
Spark 是什么？● 官方文档解释：Apache Spark™is a fast and general engine for large-scale data processing.通俗的理解：Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark 部署在大量廉价硬件之上，形成集...
2019-07-05 11:54:01
166
原创 初步掌握Yarn的架构及原理
YARN 产生背景MapReduce存在的问题：JobTracker 单点故障。 JobTracker 承受的访问压力大，影响系统的扩展性。 不支持MapReduce之外的计算框架，比如Storm、Spark、Flink什么是YARNYARN 是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中JobTracker的资源管理和作业调度两个功能...
2019-07-04 00:44:01
4476
原创 ElasticSearch概述
ElasticSearch 产生背景海量数据组合条件查询毫秒级或者秒级返回数据如：爱奇艺视频，前程无忧网，京东购物Lucene 定义lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。ElasticSearch 定义ElasticSearch是一个基于Luc...
2019-07-03 09:46:11
339
原创 Flume应用案例分析
flume的实际应用场景在上面的应用场景中，主要可以分为以下几个步骤。1、首先采用flume进行日志收集。2、采用HDFS进行日志的存储。3、采用MapReduce/Hive进行日志分析。4、将分析后的格式化日志存储到Mysql数据库中。5、最后前端查询，实现数据可视化展示。...
2019-07-02 22:50:53
160
原创 Flume 环境安装部署
Flume NG部署1、下载flume安装包。2、切换到hadoop用户操作，进入flume/conf目录。[root@master java]$ su hadoop[hadoop@master java]$ cd flume/conf[hadoop@master conf]$ lsflume-conf.properties.template flume-env.ps1.te...
2019-07-02 22:22:27
95
原创 深入学习Flume 应用场景及架构原理
Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。2、可扩展性Flume采用了三层架构，分别为agent，collector和stor...
2019-07-02 21:37:28
305
原创 使用Sqoop实现HIve分析结果数据入库
1.使用sqoop 导入mysql数据库。创建stock表并导入数据创建stock_result表来存放stock的查询结果自定义jar包并创建相应的函数将查询结果导入stock_result2.使用shell脚本完成作业。...
2019-07-02 14:47:43
241
原创 Sqoop 脚本开发规范
1.目录结构体系/home/hadoop（开发用户）/app/yw(数据来源、业务)/sh/sqoop示例：/home/hadoop/app/yw/sh/sqoophome/hadoop（开发用户）/app/yw(数据来源、业务)/sh/param示例：/home/hadoop/app/yw/sh/param2.脚本文件命名规范2.1文件名规范：数据库类型_数据层_日期_表...
2019-07-02 14:19:19
507
原创 Sqoop Export HDFS
Sqoop Export 应用场景——直接导出直接导出sqoop export \--connect'jdbc:mysql://xxx.xxx.xxx.xxx/test?useUnicode=true&characterEncodig=utf-8' \--username root \--password-file /user/hadoop/.password ...
2019-07-02 13:53:38
133
原创 Sqoop Import HDFS
Sqoop Import 应用场景——密码访问明码访问sqoop list-databases \--connect jdbc:mysql://xxx.xxx.xxx.xxx/test \--username root \--password xxx交互式密码sqoop list-databases \--connect jdbc:mysql://xxx.xxx.x...
2019-07-02 13:38:28
166
原创 Sqoop安装部署
安装部署Sqoop1.下载并解压sqoop(tar -zxvf)2.修改配置文件sqoop-env.sh3.配置环境变量/etc/profile4.将mysql的jar包放到sqoop lib目录下5.测试运行
2019-07-02 12:11:18
106
原创 Sqoop 概述
Sqoop 产生背景1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理2）hadoop中的数据导入传统数据库，可利用强大的sql进一步分析和展示。什么是Sqoop1、sqoop 名字的来源：SQL-to-Hado...
2019-07-02 11:57:18
786
原创 HBase 相关API操练
Hbase访问方式1、Java API最常规的和最高效的方式的访问2、Hbase shellHbase的命令行工具是最简单的接口，适用于Hbase的管理3、MapReduce直接使用MapReduce作业处理Hbase数据4、Thrift GateWay利用Thrift序列化技术，支持C++,PHP，Python等多种语言，适合其他异构系统在线访问Hbase5、REST Gate...
2019-07-02 10:25:57
213
原创 HBase 分布式环境安装部署
步骤一：HBase集群架构在我们搭建HBase之前，首先要规划好HBase核心角色的节点分配。这里我们是搭建5节点的HBase集群，上图我们将slave1和slave2节点配置为Master，将slave3、slave4和slave5节点配置为RegionServer。也可以搭建3节点的HBase集群。步骤二：HBase集群安装1、配置conf/regionservers...
2019-07-01 22:32:27
118
英文版Java基础
2015-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人