- 博客(47)
- 收藏
- 关注
RSS订阅
原创 hadoop的HDFS常用命令总结
HDFS常用命令：(注意：以下指的本地是：lunix虚拟机的)//查看根目录下的文件列表 hdfs dfs -ls ///递归查看根目录下的文件列表hdfs dfs -ls -R ///上传本地文件到hdfs的根目录hdfs dfs -put /export/data/logs/log.txt ///在hdfs上创建单级目录hdfs dfs -mkd...
2019-08-14 14:50:07
627
原创 一步一步详细教你配置使用git的远程仓库
一步一步详细教你配置使用git的远程仓库：第一步输入：$ ssh-keygen -t rsa -C 13419594684@163.com， 会出现如图：a)然后按回车输入y,这时候将在c/Users/Administrator/.ssh文件夹下生成id_rsa和id_rsa.pub，用记事本打开id_rsa.pub，复制里面的内容然后打开你的github账户，如图：然后：然后：...
2019-07-09 11:38:03
292
原创 JAVA设计模式之适配器模式
适配器模式适配器模式又分三种：类的适配器模式对象的适配器模式接口的适配器模式下面我们分明来看下这三种模式是什么，怎么用？1.类的适配器模式：核心思想是：当现在有一个类，这个类class1中有一个method1()方法功能，有一个接口interface有method1()方法和method2()方法，如果现在要实现这个interface接口的实现类的具有class1的method1(...
2019-07-03 21:05:22
110
原创 JAVA设计模式之单例模式
JAVA设计模式之单例模式为什么使用单例模式？单例对象（Singleton）是一种常用的设计模式。在Java应用中，单例对象能保证在一个JVM中，该对象只有一个实例存在。这样的模式有几个好处：1、某些类创建比较频繁，对于一些大型的对象，这是一笔很大的系统开销。2、省去了new操作符，降低了系统内存的使用频率，减轻GC压力。3、有些类如交易所的核心交易引擎，控制着交易流程，如果该类可以创建...
2019-07-03 19:21:19
101
原创 JAVA设计模式之工厂方法模式（Factory Method）
工厂模式（ factory model）1.普通的工厂模式，就是创建一个普通的工厂类，根据相应的参数建造相应的对象举例如下：（我们举一个发送邮件和短信的例子）首先，创建二者的共同接口：public interface Sender { public void Send(); } 其次，创建实现类//发送邮件的实现类public class MailSender i...
2019-07-03 14:37:36
383
原创 JAVA设计模式分类
JAVA设计模式分类一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。...
2019-07-03 10:59:01
1078
1
原创 数据中台的设计
1. 数据中台的设计数据中台的概念由阿里巴巴首次提出，它是一个承接技术，引领业务，构建规范定义的，全域可连接萃取的，智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个层次的体系化建设方法。1.1数据中台建设的方法论1.2数据中台建设的内容全域的数据的采集和引入，以需求...
2019-12-18 10:30:49
6499
原创 SparkStreaming+kafka保存offset的偏移量到mysql案例
MySQL创建存储offset的表格mysql> use testmysql> create table hlw_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untiloffse...
2019-10-12 00:00:04
2765
1
原创 hadoop distcp hftp hdfs跨集群拷贝常见问题归总
在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1， 记录所碰到的问题及解决方案。distcp基础用法比如拷贝A集群（src集群）的A1目录到B集群（dest集群）的B1目录，1.同版本集群拷贝（hdfs协议）：在dest集群（目标集群）运行命令：hadoop distcp hdfs://10.190....
2019-08-31 09:26:48
6597
原创 今打开VMware Workstation 11虚拟机时报错，弹出启动错误的对话框
报错信息如下具体如下图所示：在这里插入图片描述解决方法如下：第一步使用快捷键win+r,第二步然后输入services.msc回车，打开进入services应用服务的界面，第三步输入字母v快速赛选到VMware Authorization Service,鼠标右键选择属性第四步：将启动类型改为“自动”，然后点击“应用“，“确定”，就可以了好了再启动虚拟机就没问题了ok....
2019-08-17 18:01:00
883
原创 如果本地连接不上lunix远程的mysql,报错如下"xxxx is not allowed to connect to this MySQL server"
例如1.先登录mysql的客户端进行授权：然后输入授权的命令：grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;flush privileges;这样就可以了，重新连接下即可...
2019-08-15 14:14:10
158
原创 重置密码解决MySQL for Linux错误 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor
‘root’@‘localhost’ (using password: YES)一般这个错误是由密码错误引起，解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：#vim /etc/my.cnf(注：windows下修改的是my.ini)在文档内搜索mysqld定位到[mysqld]文本段：/mysqld(在vim编...
2019-08-15 13:58:09
3552
原创 解决Linux MySQL报错ERROR 2002
lunix连接mysql的时候报错：如下这样的错误，具体解决办法如下：先删除mysql的所有的文件目录下的文件rm -rf /var/lib/mysql/*然后执行删除mysqld如下：rm /var/lock/subsys/mysqldkillall mysqldervice mysqld start查看下启动的状态：/etc/rc.d/init.d/mysqld s...
2019-08-15 13:52:25
401
原创 appache版本hadoop重新编译：为什么要编译hadoop
appache版本hadoop重新编译：4.1为什么要编译hadoop由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.4.2编译环境的准备4.2.1：准备linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos...
2019-08-04 22:11:28
675
原创 lunix命令向文件添加内容的几种方法
方法一：vi编辑法 打开终端，输入vi test.txt 回车，按a或i进入编辑模式，输入 I am a boy，然后按esc键退出编辑模式，输入:wq保存并退出。 方法二：echo命令法 打开终端，输入echo ‘I am a boy’ >> ./test.txt 注：追加单行文本法方法三：cat命令法 cat >> ./test.txt <...
2019-08-04 21:52:49
1569
原创 kafka的topic分片与副本机制
此处的分片指的是对topic中数据进行分片和建立副本, 一个个topic理解为solrCloud中一个个大的索引库分片机制：主要解决了单台服务器存储容量有限的问题当数据量非常大的时候，一个服务器存放不了，就将数据分成两个或者多个部分，存放在多台服务器上。每个服务器上的数据，叫做一个分片 副本：副本备份机制解决了数据存储的高可用问题当数据只保存一份的时候，有丢失的风险。为了更好的容错和容...
2019-07-26 13:16:00
4057
1
原创 搭建kafka集群
准备三台服务器, 安装jdk1.8 ,其中每一台虚拟机的hosts文件中都需要配置如下的内容192.168.72.141 node01192.168.72.142 node02192.168.72.143 node03安装目录安装包存放的目录：/export/software安装程序存放的目录：/export/servers数据目录：/export/data日志目录：/e...
2019-07-25 21:57:40
2058
原创 什么是kafka
Apache Kafka 是一个apache软件开源组织开源的分布式消息队列，典型的生产者和消费者的生产模式，类似于JMS规范，意在构建企业级的统一的高通量的低延时的消息平台。...
2019-07-25 20:42:33
240
原创 启动redis客户端redis-cli出现中文乱码问题
redis-cli中文乱码如图所示：默认redis不转义中文，如果在平常开发中 想要看到中文内容。在打开客户端时：./redis-cli 命令后面 加上 --raw 即可。./redis-cli -- raw 如有疑问欢迎留言交流。...
2019-07-15 23:23:42
2093
2
原创 虚拟机打开失败
VMware 获取该虚拟机的所有权失败1、 虚拟机打开失败VMware Workstation报错（打开虚拟机时出错：获取该虚拟机的所有权失败。主机上的某个应用程序正在使用该虚拟机。配置文件：D:\Ubuntu 16.04\Ubuntu 16.04 64位.vmx。）：在虚拟机运行时，一次非正常关机。导致虚拟机出现此错误。此虚拟机似乎正在使用中。如果此虚拟机已在使用中，请按“取消”按钮...
2019-07-13 13:24:37
2225
原创 Linux下Tomcat启动，停止tomcat
Linux下Tomcat启动，停止命令重启Tomcat:先进入tomcat的bin目录：cd /usr/local/tomcat/bin然后关闭tomcat:可以使用：./shutdown.sh或者:sh shutdown.sh然后开启tomcat:使用：./startup.sh 或者：sh startup.sh可以查看tomcat是否关闭：ps -ef|grep java...
2019-07-12 20:47:45
3538
1
原创 把第三方 jar 包放入本地仓库或私服
把第三方 jar 包放入本地仓库或私服1.把jar包导入本地的仓库：在你的jar包所在的目录下cmd进入命令窗口， 我这里以fastjson.jar包为例，输入命令：mvn install:install-file -DgroupId=com.alibaba -DartifactId=fastjsonm -Dversion=1.1.37 -Dfile=fastjson-1.1.37.jar ...
2019-07-09 16:58:24
1878
原创 手把手教你快速搭建私服环境
手把手教你快速搭建私服环境，简单实用，一看就懂1.准备工作：先下载NxusNexus 是 Maven 仓库管理器， 通过 nexus 可以搭建 maven 仓库，同时 nexus 还提供强大的仓库管理功能，构件搜索功能等。下载地址：https://www.sonatype.com/download-oss-sonatype这里演示的是在windows环境下安装私服 所以我就选择了windo...
2019-07-09 16:21:25
21150
1
原创 一步步教你详细的git的安装到熟练使用
一步步教你详细的git的安装到熟练使用**准备工作：**1.安装git和2.注册github账户**git安装：**这个过程很简单1、git下载地址：https://git-scm.com/download/win，选择自己下载的版本，点击下载即可。下载完之后，双击应用程序，一路next即可完成安装git的使用:查看git是否安装成功可以借助命令：git --versiongit...
2019-07-09 10:59:38
253
原创 maven的jar包冲突问题最实用详细的解决方案
maven的jar包冲突问题最实用详细的解决方案方案一：1.mavenjar包的引用遵循第一声明优先原则哪个jar包在靠上的位置，这个jar包就是先声明的，先声明的jar包下的依赖包，可以优先引入项目中。我们在pom.xml中引入如下坐标，分别是spring中不同的版本。看如下图我先引入5.0.2版本的spring-context然后引入4.2.4 版本的spring-beans的,因为...
2019-07-08 15:58:20
487
原创 springmvc实现跨服务器方式的文件上传核心代码展示
springmvc实现跨服务器方式的文件上传核心代码展示需要导入依赖坐标：<dependency> <groupId>com.sun.jersey</groupId> <artifactId>jersey-core</artifactId> <version>1.18.1</version><...
2019-07-06 23:47:22
304
1
原创 SpringMVC传统方式文件上传
SpringMVC传统方式文件上传第一步：springmvc.xml中配置<!-- 配置文件解析器对象，要求id名称必须是multipartResolver --><bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver">...
2019-07-06 23:36:43
178
原创 SpringMVC实现文件上传
SpringMVC实现文件上传第一步导入第三方依赖坐标：使用Commons-fileupload组件实现文件上传，需要导入该组件相应的支撑jar包：Commons-fileupload和commons-io。commons-io 不属于文件上传组件的开发jar文件，但Commons-fileupload 组件从1.1 版本开始，它工作时需要commons-io包的支持。<depende...
2019-07-06 23:29:09
199
原创 springMVC过滤静态资源不进行拦截，在springmvc.xml配置文件添加如下配置
方案一 ：mvc:resources标签配置不过滤上<mvc:resources location="/static/" mapping="/static/**" />方案二:(推荐使用)<mvc:default-servlet-handler></mvc:default-servlet-handler>...
2019-07-06 22:46:57
909
原创 设计模式的六大原则
1、开闭原则（Open Close Principle）开闭原则就是说对扩展开放，对修改关闭。在程序需要进行拓展的时候，不能去修改原有的代码，实现一个热插拔的效果。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。想要达到这样的效果，我们需要使用接口和抽象类，后面的具体设计中我们会提到这点。2、里氏代换原则（Liskov Substitution Principle）里氏代换原则(L...
2019-07-03 11:08:33
110
原创 Spring的声明式事务处理的使用注解配置方式
标题注解配置的方式使用aop事务管理第一步创建maven工程：第二步配置AccountDaoImpl.java dao的实现类类@Repositorypublic class AccountDaoImpl extends JdbcDaoSupport implements AccountDao { @Autowired public void setDi(DataSou...
2019-07-03 10:40:16
503
原创 Spring的声明式事务处理的使用看一遍就会
Spring的声明式事务处理的使用看一遍就会xml配置文件方式：第一步引入坐标依赖：<dependency> <groupId>org.springframework</groupId> <artifactId>spring-tx</artifactId> &l...
2019-07-03 10:16:19
158
原创 【注解】添加spring的aop事务管理的通知类型
事务的通知类型有：1.前置通知，后置通知，异常通知，最终通知2.环绕通知可以自定义通知的顺序灵活调用上面的通知方法（）配置方式是：不管是xml配置的还是注解配置的都要引入空间和约束声明：导入依赖坐标：<dependency> <groupId>org.springframework</groupId> ...
2019-07-03 10:00:51
940
原创 mybatis注解方式实现一对一的连表查询的方法二
需求：查询所有的账户并且显示账户所对应的用户的信息准备实体类：Account的实体类上代码：package com.test.domain;/** * @author:shi jiaojie * @date:2019/6/26 20:15 * @description: */public class Account { private Integer id ; ...
2019-06-27 16:03:01
667
1
原创 mybatis注解方式实现一对一的连表查询的方法一
需求：查出所有的账户并且显示账户下的对应的用户信息先准备实体类上代码：Account实体类：package com.test.domain;/** * @author:shi jiaojie * @date:2019/6/26 20:15 * @description: */public class Account { private Integer id ; ...
2019-06-27 15:37:57
3107
2
原创 mybatis注解方式一对多的多表联合查询的实现
mybatis注解方式一对多的多表联合查询的实现需求：实现查出所有的用户并且显示每个用户下的所有账户信息准备实体类User2 和Account上代码：package com.test.domain;import java.util.Date;import java.util.List;/** * @author:shi jiaojie * @date:2019/6/26 ...
2019-06-27 14:15:44
4940
4
原创 javaType和ofType的区别
javaType和ofType的区别javaType用来指定对象所属的java数据类型，也就是private List<Post>posts 的ArrayList类型ofType用来指定对象的所属javaBean类,也就是尖括号的泛型private List<Post>posts例如：publicclass User { privateint id; ...
2019-06-26 17:02:50
14731
2
原创 修改maven默认的远程地址为国内的
我们都知道maven的默认远程地址是maven官方运维的，这是一个国外的仓库地址，如果网速不好的话下载很慢，更坑爹 的是有时候下载会失败导致项目运行失败，找半天才发现是依赖报的问题。严重影响工作效率，所以我们需要把它改成国内的仓库地址，这样下载速度会快好多。第一步：打开maven的配置文件settings.xml第二步：添加镜像配置文件，新增一个阿里的maven的地址alimave...
2019-06-22 08:00:39
1174
原创 idea工具推荐几款好用的代码theme主题颜色
先去这个主题网站选择自己喜欢的主题http://color-themes.com/?view=index我个人比较喜欢这几款，你们要是喜欢其他主题的可以选择别的点击下面的下下载按钮跳转页面后点击下载然后在我们的idea编辑器器中导入主题jar包找到我们下载的jar包然后点击ok然后点击Editor —> Color Scheme —>选择我们导入的主题到这里就好...
2019-06-21 12:49:42
61306
7
原创 idea工具集成配置maven最详细的
IDEA 全称 IntelliJ IDEA，是java语言开发的集成环境，IntelliJ在业界被公认为最好的Java开发工具之一, IDEA是JetBrains公司的产品,现在有逐步取代老牌Java开发工具Eclipse的趋势.那本人也是从Eclipse 转到IDEA.那刚转换过来时,确实很不适应,不过好在坚持使用了几天后,确实感觉IntelliJ IDEA比Eclipse更加智能.Maven...
2019-06-21 10:38:15
10454
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人