牵牛刘先生-CSDN博客

原创【JAVA企业级开发】一站式轻量级开源框架Spring------SpringJDBC事务管理(完整精细版)

一、数据库事务原理事务管理是企业级应用程序开发中必备技术，用来确保数据的完整性和一致性1事务的ACID特性以及实现原理概述原子性(Atomicity):事务中的所有操作作为一个整体像原子一样不可分割，要么全部成功,要么全部失败。一致性(Consistency):事务的执行结果必须使数据库从一个一致性状态到另一个一致性状态。一致性状态是指:1.系统的状态满足数据的完整性约束(主码,参照完整...

2020-04-03 15:02:24 252

原创【JAVA企业级开发】一站式轻量级开源框架Spring------SpringAOP(完整精细版)

传统java开发中,核心方法与横切关注点耦合案例:

2020-04-02 13:04:42 302

原创【JAVA企业级开发】一站式轻量级开源框架Spring------SpringIOC/DI(完整精细版)

一Spring简介1、Spring简介Spring是于2003 年兴起的一个轻量级(框架api与代码耦合很低)的Java 开发框架，由Rod Johnson创建。简单来说，Spring是一个分层的JavaSE/EE full-stack(一站式) 轻量级开源框架。Spring是一个开放源代码的设计层面框架，他解决的是业务逻辑层和其他各层的松耦合问题，因此它将面向接口的编程思想贯穿整个系统应用...

2020-03-15 00:03:02 1383

原创【JAVA企业级开发】开源持久层ORM(对象关系型映射)框架:Mybatis(完整精细版)

一、Mybatis简介1.开源项目：开放源代码的项目2.Mybatis是一个开源的持久层（操控库表技术与jdbc是同样功能）框架。3.历史MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github。iBATIS一词来源...

2020-03-02 23:30:04 598

原创【零基础云服务器建站教程】优化设置tomcat的默认页面(网站主页),优化更改tomcat的默认端口号(主页端口)

一设置tomcat的默认页面,修改两个配置文件(server.xml,web.xml)即可.1先修改server.xml,增加默认文件夹配置找到<Engine name="Catalina" defaultHost=......<Host name=.../Host>/Engine>标签在Host标签中加入：<Context path="" ...

2020-03-02 22:55:58 137

原创【零基础云服务器建站教程】拥有云服务器,注册解和备案域名,得到服务器密钥文件(用于远程连接)

一首先拥有一个云服务器,拥有自己的域名,这里我选择的是腾讯云服务器.1购买云服务器,注册域名腾讯云服务器购买链接:【腾讯云】热卖云产品3折起，云服务器、云数据库特惠，服务更稳，速度更快，价格更优https://url.cn/5QHrebT注册成功后,我这里的域名为:liuchunhang.cn2然后完成核对域名实名信息：登录域名管理控制台，确认域名是否已经完成实名认证.3提交所...

2020-03-02 22:54:30 209

原创【零基础云服务器建站教程】远程连接登录服务器，配置建站环境(java+tomcat+mysql),向tomcat中部署web项目.

远程登录服务器，配置建站环境

2020-03-02 22:48:59 429

原创【大数据技术干货】集群中hive的企业级调优策略的五种出发点：1 Fetch抓取，2本地模式，3表的优化，4数据倾斜，5严格模式

hive企业级调优1 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是mo...

2019-12-22 23:35:22 124

原创【大数据技术详解】在实际开发应用中教你分别使用Hive的两种方式（自带函数get_json_object和udf自定义函数）来处理海量的Json数据

一json数据模型（100条）/rating.json ：{"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"}{"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"}{"movie":"914","rate":"3","timeStamp":"978301...

2019-12-22 21:34:04 497

原创【大数据技术详解】当使用sqoopcreate-hive-table创建SQL表一样的hive表时容易的错误EncounteredIOExceptionrunning create table job

一解决使用sqoop create-hive-table创建SQL表一样的hive表表时容易遇到的错误：Encountered IOException running create table job1sql表city_info为:2使用sqoop创建SQL表一样的hive表hivecity：sqoop create-hive-table --connect jdbc:mysql://sh...

2019-12-21 23:19:24 1141 1

原创【大数据技术详解】搭建redis集群服务的步骤和配置以及解决创建集群时会遇到的错误：NodeX replied with error:ERRInvalid node address specified

在redis节点创建完成之后，开始进行集群的搭建进入任意redis节点的src目录执行指令：./redis-cli --cluster create shuang:7000 shuang:7001 dashuang:7002 dashuang:7003 xiaoshuang:7004 xiaoshuang:7005 --cluster-replicas 1 --cluster-replic...

2019-12-18 19:56:43 2351

原创【大数据技术干货】一次性完全总结分析spark中的三种抽象数据集（RDD、DataFrame和DataSet）的源码，定义，创建，用法，共性，区别，以及它们相互之间的联系

一RDD、DataFrame和DataSet的定义1Spark RDD①RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、弹性、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分...

2019-12-13 23:38:26 304

原创【大数据技术干货】在kafka集群中，帮你更好的掌握productor产生数据，consumer消费数据的时候，都需要从哪些层面来考虑和优化产生消费数据的过程。

一在Kafka中无论是producer往topic中写数据,还是consumer从topic中读数据,都避免不了和offset打交道,关于offset主要有以下几个概念：①Last Committed Offset：consumer group最新一次 commit 的 offset，表示这个 group 已经把 Last Committed Offset 之前的数据都消费成功了。②Cu...

2019-12-13 00:10:04 386

原创【大数据技术详解】scala写kafka的consumerAPI，在while里使用迭代器中的iterator().hasNext，iterator.next()函数为什么会出现无限循环消费数据的坑？

一kafaka的productor代码如下：import java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}object kafkaproductor { def main(args: Array[String]): Unit = { val ...

2019-12-12 23:36:15 593

原创【大数据技术详解】kafka集群中选择采用 “同group多consumer”+“同consumer多Thread”的方式来更好的来消费productor产生的数据

一如何更好的消费数据1多个consumer, 一个consumer group,数量小于等于partition的数量每个consumer都要维护一个独立的TCP连接，如果分区数和创建consumer线程的数量过多，会造成不小系统开销。但是如果处理消息足够快速，消费性能也会提升,如果慢的话就会导致消费性能降低。2一个consumer,多线程处理事件采用一个consumer，多个消息处理线...

2019-12-12 14:26:10 288

原创【大数据技术干货】理解SparkContext，SparkSession，StreamingContext在实际开发的过程中的对各类数据库的应用点

一最大化效率从rdd中向mysql数据库中添加数据1代码如下：object sparksql { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Level.WARN) //设置日志级别 var config = new SparkConf().s...

2019-12-10 13:39:33 896 1

原创【大数据技术详解】理解spark的三种运行模式与SparkConf，SparkContext，SparkSession它们三者之间相互的属性关系及其初始化过程

1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-value对）比如：...

2019-12-09 20:58:36 1395

原创【大数据技术干货】消除kafka等大数据框架启动运行都会出现警告:OpenJDK 64-Bit Server VM warning:If the number of processors.......

OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N...

2019-12-09 16:15:10 1249

原创【大数据技术干货】帮你解决凡是window操作hadoop都会遇到的问题异常：Failed to locate the winutils binary in the hadoop binarypath

一异常：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.1我每次在idea中操作spark，hbase，hdfs，mapreduce等与服务器集群中的搭建的hadoop集群有关联的时候，都会报出这个错误，例如当我准备把spark：rdd中的数据上传到mys...

2019-12-09 14:50:48 158

原创【大数据技术干货】教你如何快速启动spark，巧妙化解hdfs，yarn，spark等框架时有关启动命令和关闭命令相互冲突的问题

默认命令：单独dfs的启动的关闭start-dfs.shstop-dfs.sh单独的yarn的启动和关闭start-yarn.shstop-yarn.shdfs，yarn一同的启动和关闭start-all.shstop-all.sh单独的spark的启动关闭start-all.shstop-all.sh...

2019-11-28 14:04:19 462

原创【大数据技术详解】集群中（外置zookeeper）和（hbase）各自的基本配置，基本shell用法操作和它们（外置zookeeper）+（hbase）之间相互整合配置以及协同工作中的过程与联系大数据

一 Zookeeper1.1 概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似...

2019-11-27 11:30:46 177 1

原创【大数据技术干货】在java语言和scala语言中，在正则表达式中，我们习惯使用反斜杠（“\“）使使后面的字符具有特殊的意义，但你有没有思考过正斜杠（“/”）是否也代表某种匹配模式？

一首先了解java/scala语言在正则表达式上的特殊性1不同语言正则表达式语法的异同①在其他语言中：\(双反斜杠) 表示：我想要在正则表达式中插入一个普通的（字面上的）反斜杠，请不要给它任何特殊的意义。②在 Java /scala中：\（双反斜杠）表示：我要插入一个正则表达式的反斜线，所以其后的字符具有特殊的意义。根据 Java Language Specification 的要求...

2019-11-18 15:17:53 475 2

原创【大数据技术干货】教你如何设置hdfs文件系统用户目录，以便轻松使用hdfs dfs -ls命令快速访问对于当前目录下相对路径的hdfs文件

一命令 hdfs dfs -ls 和hdfs dfs -ls /1当我们习惯使用hdfs dfs -ls / 访问hdfs文件系统的文件，有没有曾想过hdfs还可以快速直接以当前目录访问文件，当我们在shell端输入 hdfs dfs -ls 或者hdfs dfs -ls ....

2019-11-16 00:08:28 1674

原创【大数据技术详解】在使用Mysql替换Deby作为Hive的matastore过程中需要注意的问题和容易发生的错误

需要关闭防火墙，开放3306端口service iptables status （功能描述：查看防火墙状态）chkconfig iptables --list （功能描述：查看防火墙开机启动状态）service iptables stop （功能描述：临时关闭防火墙）chkconfig iptables off （功能描述：关闭防火墙开机启动）chkconfig iptables on ...

2019-11-14 14:31:27 202

原创【大数据技术详解】“在MapReduce框架的规约流程中，为什么不把Combiner功能作为默认配置？“的问题

一执行mapreduce的两种驱动流程1 无combiner功能时的驱动流程 //加载配置类 Configuration configuration = new Configuration(); //实例JOB Job job = Job.getInstance(configuration); //打Jar包 ...

2019-11-06 22:10:57 146

原创【大数据技术详解】HADOOP的资源调度平台YARN基本架构的工作机制和其中三种Scheduler资源资源调度器不同的调度机制

一 Yarn概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。二 Yarn基本架构YARN主要由ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）和Container等组组成。ResourceManager基本...

2019-11-06 13:08:04 250

原创【大数据技术详解】HADOOP系统Linux端中HDFS的配置与JAVA客户端Configuration类的初始化过程的联系与意义

1 了解HadoopDistributed File System**Hadoop分布式文件系统(HDFS)**被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。分布式文件系统（Distributed File S...

2019-10-30 17:49:20 525 1

原创【大数据技术干货】安装hadoop的过程中，轻松三个步骤解决使用hadoop version 命令后出错（java: No such file or directory）的问题

[一，在linux下测试hadoop是否安装成功的方法：使用hadoop version命令查看hadoop版本信息]如上图所示，出现以上错误，可以看出linux系统找不到java命令，我们可以去检查一下linux系统下的 PATH路径是不是没有配置该路径。[二，echo $PATH 查看 path路径]确认已经配置该路径。[三，确认path下的 javahome 路径是否配置错误]...

2019-10-28 10:21:51 4479