Summer龙-CSDN博客

原创到底什么是大数据？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的四大特征。大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力。大数据的5V特点：Vo

2021-03-25 20:07:05 251

原创 linux 安装mysql5.7脚本，以及进行mysql的默认的配置，比如，密码等

#！/bin/bash#一键安装mysql# 卸载原来的mysql，或者清除mysql的数据。set -eif [ $# -lt 1 ] then echo "没有参数输入。。。。。。。" exit ; fi case $1 in "remove") rpm -qa |grep -i mysql yum remove mysql-community mysql-community-server mysql-community-libs my.

2021-08-08 15:11:12 301

原创 Centos7设置设置时间与windows同步

问题描述：当出现时间与windows时间不相符的时候；解决方案：设置系统时间为中国时区并启用时间同步1. 安装chronyyum install chrony2. 启用systemctl start chronydsystemctl enable chronyd3. 设置亚洲时区timedatectl set-timezone Asia/Shanghai4. 启用NTP同步timedatectl set-ntp yes5. 通过date来查询时间是否进行同步...

2021-08-05 15:26:22 1056

原创 Git的使用

第一章 Git入门一、什么是版本控制版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。版本控制的作用：有了版本控制你就可以将选定的文件回溯到之前的状态，甚至将整个项目都回退到过去某个时间点的状态，你可以比较文件的变化细节，查出最后是谁修改了哪个地方，从而找出导致怪异问题出现的原因，又是谁在何时报告了某个功能缺陷等。...

2021-07-29 21:35:43 840

原创 java的类加载

基本说明：反射机制是java实现的动态语言的关键，也就是通过反射实现类动态加载。静态加载：编译时加载相关的类，如果没有则报错，依赖性太强。动态加载：运行时加载需要的类。如果运行时不用该类，即使没有也不报错，降低了依赖性。类加载的时机：创建对象时。静态加载当子类被加载，父类也加载静态加载调用类中的静态成员静态加载通过反射动态加载类加载的三个阶段：概述加载 Loading：将class文件读入内存，并创建一个java.lang.Class对象。此

2021-07-29 19:39:34 183

原创正则表达式

为什么需要正则表达式简洁的代码严谨的验证文本框中的内容一个简单的表达式即可验证邮箱。var reg= /^\w+@\w+(\.[a-zA-Z]{2,3}){1,2}$/;if(reg.test(email) ==false){ $email_prompt.html("电子邮件格式不正确,请重新输入"); return false;} ...

2021-07-29 17:04:58 168

原创 hadoop常用的脚本

（1）jpsall 该脚本是用来显示集群的所有java进程状态#!/bin/bash#该脚本是用来显示集群的所有java进程状态list="master node1 node2"# 注意替换你自己的节点名称！！！！！！！！！echo "显示集群的所有java进程状态"for node in $listdo echo "##### "$node"jps #####" ssh $node $JAVA_HOME'/bin/jps' doneecho "#####执行结束####

2021-07-27 21:08:40 1194 2

原创 Shell编程

1、Shell的概念shell脚本（Shell Script）就是将要执行的命令按照顺序保存到一个文本文件中，并给该文件可执行的权限，方便一次性执行的一个程序文件。2、快速入门Linux系统中的Shell脚本是一个特殊的应用程序，它介于操作系统内核与用户之间，充当一个“命令解释器”的角色，负责接受用户输入的操作指令（命令）并进行行解释，将需要执行的操作传递给内核执行，并输入执行结果。常见的Shell解释器有多种，使用不同的shell脚本时，其内部指令，命令提示等会存在一些区别。可以通过查看/etc

2021-07-27 20:14:00 167

原创 java集合的总结

一、Collection1. List（1）Arrlist排列有序元素可重复底层使用数组查询速度快，增删速度慢线程不安全，没有做同步互斥操作当容量不足时：按照当前容量的 1 .5倍+1 进行扩容（2） Vector排列有序可重复底层使用数组线程安全，实现Synchronized接口，里面的方法使用Synchronize修饰，速度慢当容量不够时，Vector按照当前容量的 1倍扩容（3）LinkedList排列有序，可重复底层使用双向循环链表查询速度慢，增删快

2021-07-21 14:28:46 77

原创双亲委派模型

在说双亲委派模型之前首先得先了解一下类加载阶段。类的加载阶段类加载阶段分为加载、连接、初始化三个阶段，而加载阶段需要通过类的全限定名来获取定义了此类的二进制字节流。Java特意把这一步抽出来用类加载器来实现。在Java中任意一个类都是由这个类本身和加载这个类的类加载器来确定这个类在JVM中的唯一性。也就是你用你A类加载器加载的com.aa.ClassA 和你A类加载器加载的com.aa.ClassA 它们是不同的，也就是用instanceof这种对比都是不同的。所以即使都来自于同一个class文件但

2021-07-21 11:02:49 91

原创 JVM简单的理解，java跨平台的原因

一、基本概念（JVM）java virtual machineJVM是可运行Java代码的假想计算机，他有自己的一套字节码指令集，一组寄存器，一个栈，一个垃圾回收，堆和一个存储方法域。注意JVM是运行在操作系统之上的，并没有直接与硬件交互，实际交互的还是原来的操作系统。我们都知道Java的源文件，通过编译器，能够产生相应的 .class文件，也就是字节码文件，字节码文件又通过Java虚拟机的解释器，编译成特定的机器上的机器码。java源文件 ——> 编译器 ——>字节码文件字节码

2021-07-21 09:56:21 237

原创浅拷贝和深拷贝的区别

浅拷贝和深拷贝的区别：主要是针对引用数据类型来区分的，对于基本数据类型可以说，深拷贝和浅拷贝是一样的。没有什么区别。浅拷贝：浅拷贝，只是对指针的拷贝，拷贝后两个指针指向同一个堆中的内存空间。深拷贝：深拷贝不但对指针进行拷贝，而且对指针指向的内容进行拷贝，经深拷贝后的指针是指向两个不同地址的指针。深拷贝采用了在堆内存中申请新的空间来存储数据。...

2021-07-14 15:33:08 2168

原创 Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets解决方案

在编写客户端程序时，直接用hive的diver class连接hive，或者写spark程序出现异常：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/io/Charsets at org.apache.hadoop.security.Credentials.<clinit>(Credentials.java:222) at org.apache.hadoop.mapre...

2021-07-11 13:17:15 9941 2

原创 windows中以本地模式运行spark遇到“Could not locate executable null\bin\winutils.exe in the Hadoop binarie”

1. 问题：2. 解决适用于win7、win10在windows环境下的eclipse或者idea中编写spark应用时，有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常：java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binarie经测试发现这个异常并不影响最终运行结果，但是看着不舒服，解决方法如下：1、新建一个目录，例如C:\hadoop-2...

2021-07-11 11:51:54 347

原创无法进入hadoopwebUI界面解决方案，centos7永久关闭防火墙

出现在进入hadoopwebUI界面时出现无法访问此网站192.168.10.xx 的响应时间过长。检查Hadoop集群是否正常启动，通过jps命令来测试如果hadoop集群正常启动了，检查在 windows 下面的 hosts文件中ip 与虚拟机的映射配置了没有。都配置了话还不行的，检查虚拟机的防火墙是否关闭！...

2021-06-17 15:56:22 831 1

原创在启动hadoop时发现有的节点启动了，有的没有启动时解决方案

检查 works 的文件是否正确在执行hadoop namenode -format 时，是否每个机器都出现了，data目录，如果没有，请仔细检查配置文件，将所有的机器data，和logs删除即可要是hdfs中有数据就不能删，有数据但是数据不重要，就请忽略。...

2021-06-17 15:47:13 379

原创 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes错误解决

当出现这样的错误时： Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodes因为你在进行配置免密登录时忘记了执行：cd ~/.sshcat id_rsa.pub >> authorized_keys引起了不必要的错误。...

2021-06-17 15:35:55 1602

原创 hadoop-3.2.2 启动HDFS时报错ERROR: Attempting to operate on hdfs namenode as root的解决方法

当我们在启动集群的时候出现了这种错误我们只需要在linux的环境变量中增加用户权限即可有两种添加方法：方法一：在/hadoop/sbin路径下：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数#!/usr/bin/env bashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root还有，start-

2021-06-17 15:33:07 695

原创 Hadoop的概念

一、概念1、Hadoop是什么Hadoop是由一个Apache基金会所开发的分布式基础架构，Hadoop是一个生态圈2、主要解决的问题 1、海量数据的存储 2、海量数据的分析计算3、Hadoop是一个生态圈2、Hadoop的发展历史1、Hadoop的创始人：Doug Cutting2、创始人想要实现类似Google类似的全文搜索功能，在Lucene框架上优化3、Google的三篇论文 GFS----> HDFS Map-Reduce --->MR BigTable

2021-06-16 23:41:32 1064 3

转载窗口函数（分析函数）的使用方法

3个窗口函数Rank（）函数【ROW_NUMBER()、RANK()、DENSE_RANK()】总结：3个函数最主要的差别在对重复数据的编号规则上。row_number()重复数据按统一不重复编号；rank()重复数据按统一规则编号；dense_rank()重复数据按统一规则编号。rank()和dense_rank()的区别在于重复数据后的那一条记录的编号规则不同。HIVE的窗口函数，对于每一条数据通过窗口滑动，对在窗口内的数据进行聚合等操作。假设窗口大小..

2021-06-11 17:15:41 590

原创 zookeeper出现的 Error contacting service. It is probably not running.问题以及解决

./zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /opt/share/zookeeper-3.4.10/bin/…/conf/zoo.cfgError contacting service. It is probably not running.出现这样的报错信息的话：解决方案：1. 关闭重启虚拟机2. 先起zookeeper3. 在起hadoop解决成功...

2021-06-11 14:21:28 763

原创 xshell 连接不上虚拟机的解决方案

请您使用“对ping”的方式来检查一下网络是否有问题？也就是说，您这边ping一下虚拟机，在虚拟机也ping一下您的电脑。确保您主机所处的网段与虚拟机是同一网段。可能的原因：1、其中一方的防火墙是有拦截的2、您的PC与虚拟机处于不同网段3、您的PC与虚拟机之间是有NAT转换的，情况是我能与对方通讯，但是对方不能与我通讯，或相反。4、网络中出现地址冲突，您的虚拟机与网络中某台主机的地址发生冲突，但是Linux中是没有提示的。...

2021-06-11 13:39:58 759

转载 VMware该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权

VMware该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权今天虚拟机centos6.7没正常关机，物理机突然断电了，打开VMware却开不了centos了该虚拟机似乎正在使用中。如果该虚拟机未在使用，请按“获取所有权(T)”按钮获取它的所有权。否则，请按“取消©”按钮以防损坏。解决办法：到你的安装目录找文件夹后缀为.vmx.lck的文件夹，将其改名或者删除掉。如下所示：再次打开就好了原文链接：https://blog.csdn.net/hellox

2021-06-11 13:32:20 1243 1

原创 scala的两种变量类型 var 和 val

scala的两种变量类型 var 和 valscala的两种变量类型 var 和 val在Java中，您可以这样声明新变量：String s = "hello";int i = 42;Person p = new Person("Joel Fleischman");每个变量声明之前都有其类型。相比之下，Scala具有两种类型的变量：val创建一个不可变量（例如final在Java中）也就是常量 var创建一个可变变量这是Scala中的变量声明：val s =...

2021-05-23 19:29:53 3823 2

原创 Scala REPL的使用

Scala REPL是一个命令行解释器，您可以将其用作测试“ Scala”代码的区域。要启动REPL会话，只需scala在您的操作系统命令行中输入，您将看到以下内容：$ scalaWelcome to Scala 2.13.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_131).Type in expressions for evaluation. Or try :help.scala> _由于REPL是命令行解释器，.

2021-05-23 19:17:20 2615

原创 scala的helloword

自从《C编程语言》这本书发行以来，大多数编程书籍都以一个简单的“ Hello，world”示例开始，并且按照传统，这是Scala“ Hello，world”示例的源代码：<code>object &lt

2021-05-23 19:01:33 309

原创 scala

scala的起源：Scala这个名字源于可扩展性这个词，这个名字的真实含义是，它被用来为世界上最繁忙的网站提供动力，包括Twitter，Netflix，Tumblr，LinkedIn，Foursquare等。这是由Martin Odersky（的父亲javac）创建的现代编程语言，受到Java，Ruby，Smalltalk，ML，Haskell，Erlang等的影响。scala的特点这是一种高级语言。它是静态类型的。它具有复杂的类型推断系统。它的语法简洁明了，但仍然可读-我们称其为富有表现

2021-05-23 18:55:37 114

原创自增长

– 自增长– 在某一张表中存在一个id列（整数）希望在添加记录的是时候，该列从1开始，自动的增长，怎么处理-- 语法：-- 字段名整型 primary key auto_increment CREATE TABLE test (id INT PRIMARY KEY AUTO_INCREMENT,NAME VARCHAR(7) NOT NULL)– 添加自增涨的方式注意：自增长的字段也可以给他指定。建议还是不要在自己定义了-- 1 . insert into test (id

2021-05-23 10:09:06 586

原创索引

-- 索引-- 可以通过增加索引提高数据库的性能，索引是最好的东西了，不要加内存，不要该程序，也不要修改sql，查询速度就可能提高千百倍。-- 索引的创建语法 CREATE INDEX Customer_id_index ON customer(customer_id) -- 在customer 表的customer_id字段创建了一个Customer_id_index索引 -- 这样在查询customer_id信息的速度会大幅度提示 -- 如果要创建其他字段的索引的话，改变字段的即可 CRE

2021-05-23 10:08:39 110

原创商店表的设计

– 商店表的设计#现有一个商店的数据库shop_db,记录客户及其购物情况，有下面三个表组成：#商品goods(商品号 goods_id,商品名 goods_name, 单价 unitprice，商品类别 category，供应商 provider）#客户Customer（客户号 Customer_id,姓名 name，住址address，电子邮件email，性别sex，身份证 crad_id)#购买 purchase（购买订单号order_id，客户号customer_id，商品号goo.

2021-05-22 20:43:13 1015

原创 mysql 的约束

mysql 的约束primary key(主键)– 基本使用 :– 字段名字段类型 primary key– 用于唯一的标识行数据，当定义主键约束时，该列不允许重复CREATE TABLE stu( id INT PRIMARY KEY, NAME VARCHAR(32) );– 主键使用的细节：– 1. primary key 不能重复而且不能为null；– 2. 一张表最多只能有一个主键，但可以是复合主键– – CREATE TABLE stu(–

2021-05-22 20:41:13 63 1

原创外连接

-- 外连接SELECT dname,ename,job FROM dept,emp WHERE dept.`deptno`=emp.`deptno`; -- 左外连接：如果左侧的表完全显示我们就说是左外连接-- 右外连接：如果右侧的表完全显示我们就说是右外连接CREATE TABLE stu( id INT, NAME VARCHAR(32) );INSERT INTO stu VALUES(1,'jack'),(2,'tom'),(3,'kity'),(4,.

2021-05-22 20:38:39 87

原创合并查询

– 合并查询– 有时候在实际应用中，为了合并多个select 语句的结果，可以使用集合操作符合 union ， union all– union all 就是对两个查询结果合并，不会去重– union 对两个查询结果求并集 SELECT ename ,sal,job FROM emp WHERE sal >2500 UNION SELECT ename,sal,job FROM emp WHERE job ='manage';...

2021-05-22 20:37:52 547

原创表的去重

– 思路：– 1. 先创建一个临时表，通过Create table 表名 like 表名创建新的表，与原来的表有相同的表结构– 2. 通过查询原来的表再通过 distinct 关键字去重– 例如：CREATE TABLE temp LIKE emp; INSERT INTO temp (empno,ename,job,mgr,hiredate,sal,comm,deptno)SELECT DISTINCT *FROM emp;...

2021-05-22 20:37:02 88

原创表的复制

-- 表的复制内容的复制CREATE TABLE mytable( id INT, `name` VARCHAR(20), sal DOUBLE, job VARCHAR(20), deptno INT);INSERT INTO mytable (id,NAME,sal,job,deptno) SELECT empno,ename,sal,job,deptno FROM emp; SELECT * FROM mytable;-- 复制表

2021-05-22 20:36:29 78

原创分组查询、多表查询、子查询

建表CREATE TABLE dept( deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, dname VARCHAR(20) NOT NULL DEFAULT ' ', loc VARCHAR(13) NOT NULL DEFAULT ' '); INSERT INTO dept VALUES(10,'ACCOUNTING','NEW YORK'),(20,'RESEARCH','DALLAS'),(40,'OPERATIONS','BOSTON'

2021-05-22 20:35:36 174

原创函数

-- 统计表中有多少条数据。SELECT COUNT(*) FROM student; SELECT COUNT(*) FROM student WHERE math>90SELECT NAME,COUNT(*) FROM student WHERE math + english+chinese >250-- count(列) 统计返回满足条件的某列有多少个，但会排除为 null 的数据-- 求和函数-- sum函数返回满足where条件的行的和，一般用

2021-05-22 20:30:31 72

原创 CRUD C creater R read U update D delete

#CRUD C creater R read U update D delete-- 插入 INSERT INTO employee (id,username,birthday,entry_date,job,salary,RESUME,image) VALUES (1, '风清扬', '2001-12-03','2015-12-05','CEO',500000.0,'大BOSS',NULL);INSERT INTO employee (id,username,birthd

2021-05-22 20:28:03 77

原创建表语句

-- 建表CREATE TABLE emp ( id INT, NAME VARCHAR (4), sex CHAR (1) NOT NULL DEFAULT '男', birthday DATE, entry_date DATE, job VARCHAR (32), salary DOUBLE, `resume` TEXT) CHARSET utf8 ENGINE INNODB-- 插入数据INSERT INTO empVALUES ( 100,

2021-05-22 20:27:07 6861

原创数据库定义本质

所谓的安装mysql数据库，就是在主机上安装一个数据库管理系统（DBMS）这个管理系统程序可以管理多个数据库。DBMS（Database Manage System）。一个数据库可以创建多个表。以保存数据。数据库管理系统（DBMS）、数据库和表的关系：4. 数据库——普通表的本质就是文件！5. SQL语句的分类DDL ：数据定义语言【Create 表、库】DML ：数据操作语言【增，改，删】DQL ：数据查询语言【查 select】DCL ：数据控制语言【管理数.

2021-05-12 19:13:11 340

空空如也

空空如也