自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(46)
  • 资源 (13)
  • 收藏
  • 关注

原创 springboot开发中遇到的error

1.mapper.xml的配置org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.web.music.dao.AdminMapper.verifyPassword at org.apache.ibatis.binding.MapperMethod$SqlCommand.<init>(MapperMethod.java:235) ~[mybatis-3.5.5.jar:3.5.

2020-11-10 22:39:21 34

原创 在Windows下搭建Vue4.X开发环境以及版本切换

安装node.js说明url中文网http://nodejs.cn/官网https://nodejs.org/en/下载node-v14.15.0-x64.msi并安装设置node的全局和缓存路径创建两个文件夹node_cache,node_globalcmd下设置全局和缓存路径npm config set cache “D:\nodejs\node_cache”npm config set prefix"D:\nodejs\node_glob.

2020-11-10 11:33:49 36

原创 JsonSerialize时间数据转换解决方案

比如在返回的json数据中想要得到一个long类型的数据:后来发现json中得到的数据是:解决方案:步骤一: 重写JsonSerializer方法public class Date2LongSerializer extends JsonSerializer<Date> { @Override public void serialize(Date date, JsonGenerator jsonGenerator, SerializerProvider serializerPr

2020-11-09 13:16:10 13

原创 JsonSerialize.Inclusion @Deprecated的解决方案

Json默认是包含空串的,如果我们不想让json返回null值,可以在bean上添加一些注解。/** @deprecated */ @Deprecated public static enum Inclusion { ALWAYS, NON_NULL, NON_DEFAULT, NON_EMPTY, DEFAULT_INCLUSION; private Inclusion() { } }例如@JsonSerialize(using

2020-11-09 13:09:09 14

原创 Hive安装-环境搭建

准备并没有集群一说, 只要Hadoop以集群的模式运行, Hive就可以在Hadoop集群中运行。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,将类 SQL 语句转换为 MapReduce 任务执行。Hive的下载地址http://mirror.bit.edu.cn/apache/hive/这里使用的版本是apache-hive-2.3.7-bin.tar.gz环境准备hadoop-2.7.3三台机器:maste

2020-10-31 09:42:25 9

原创 datax-hbase2stream

####准备hadoop,hbase的环境,参考https://blog.csdn.net/yandao/article/details/108690126hbase(main):001:0> listTABLE

2020-10-30 17:07:24 13

原创 datax-hdfs2stream

准备hadoop环境master 192.168.0.200slave1 192.168.0.201slave1 192.168.0.202master start-all.sh5728 SecondaryNameNode7828 Jps5893 ResourceManager5531 NameNodeslave13895 NodeManager3772 DataNode5646 Jpsslave23745 DataNode5650 Jps3868 NodeManager

2020-10-30 16:30:25 8

原创 datax数据同步更新策略-以mysql2mysql为例

全量抽取策略{ "job": { "setting": { "speed": { "channel": 3 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [{

2020-10-29 18:45:02 80

原创 dataX-postgres2mysql

准备postgres数据库准备mysql数据库postgres2mysql.json{ "job": { "setting": { "speed": { "channel": 3 }, "errorLimit": { "record": 0, "percentage": 0.02 }

2020-10-29 15:49:05 7

原创 使用dataX-stream2stream/stream2mysql/mysql2mysql/mysql2stream

stream2stream{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 5, "column": [ { "type": "long", "v

2020-10-28 10:15:39 121 2

原创 使用dataX遇到的坑

首先是安装dataX,安装非常简单,只需下载对应的压缩包即可。下载地址:https://github.com/alibaba/DataX第一个错误:命令提示符界面出现出现乱码。解决方法:可以在cmd中输入: CHCP 65001 (切换为UTP8编码-65001 (UTF-8)),然后进行后续操作。第二个错误:print的问题 File "datax.py", line 114 print readerRef ^SyntaxError: Missing paren

2020-10-28 08:22:46 392 2

原创 java奇偶性的判定

以下代码对于奇偶性的判定是否正确?i%2==1在大多数时间是正确的,但是至少有4分之一的时间是错误的如果是正整数,它是正确的如果是负整数,它有一半的时候是错误的负奇数对2求余得到的值是-1不是1所以可以用如下的代码判定奇偶性i%2==0也可以用位操作符& AND来代替:i & 1 == 0...

2020-09-23 20:38:37 49

原创 Java代码-Kafka的Publish和Subscribe

import java.util.Properties;import java.util.Random;import java.util.concurrent.TimeUnit;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerR

2020-09-22 10:13:32 45

原创 Kafka在windows下单机版安装步骤

准备安装JDKjava version "1.8.0_231"Java(TM) SE Runtime Environment (build 1.8.0_231-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)下载kafka_2.12-2.1.1http://kafka.apache.org/downloadshttps://archive.apache.org/dist/kafka/2.2.1/ka

2020-09-21 22:43:02 21

原创 求一个正整数二进制中1的个数

思路:一个数与1作与运算则可以发现该数最后一位数为1,否则为0.然后做移位操作。 import java.util.*;public class Main { public int solution(int input) { int count=0;//1的个数 while(input!=0){ if ((input & 1) == 1) { count++; } input >>= 1; } retu

2020-09-21 16:28:18 10

原创 移动数组的后k个数

import java.util.*; public class Main { public int[] solution(int[] arr,int n,int k) { int[] arrtmp = new int[n]; for (int i = 0; i < k; i++) { arrtmp[i] = arr[n-k + i]; } for (int i = 0; i < n - k; i++) { arrtmp[i + k] = arr[i]

2020-09-21 16:01:31 6

原创 Flume-1.8.0的安装与配置

安装下载http://flume.apache.org/download.htmlhttp://archive.apache.org/dist/flume/1.8.0/解压tar -xzvf apache-flume-1.8.0-bin.tar.gz建立一个软连接ln -s apache-flume-1.8.0-bin flume-1.8.0设置环境变量[root@single ~]# echo $PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:

2020-09-21 15:23:44 34

原创 Yarn的工作机制/作业提交流程

作业提交全过程详解(1)作业提交第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。第2步: Client向RM申请一个作业id。第3步: RM给Client返回该job资源的提交路径和作业id。第4步: Client提交jar包,切片信息和配置文件到指定的资源提交路径。第5步: Client提交完资源后,向RM申请运行MrAppMaster。(2)作业初始化第6步: 当RM收到Client的请求后,将该job添加到容量调度器中。第

2020-09-20 23:46:45 12

原创 HBaseClient的表操作java实现create put get delete

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;import org.apache..

2020-09-20 23:11:39 12

原创 Java项目实战下载链接

1、最新大神JAVAEE就业实战课程下载 超150G实战JAVAEE 基础部分2、58系统高级架构师带你实战高可用架构设计课程3、Activiti6.0工作流引擎深度解析与实战5、Elasticsearch ELK分布式全文检索入门视频教程6、Elasticsearch顶尖高手系列-核心知识篇高手进阶篇视频7、Gradle3.0自动化项目构建技术精讲+实战8、JAVA Cloud微服务项目实战课程 SpringBoot 2.x +SpringCloud 微服务课程下载9、JAVA-ACE-架构

2020-09-20 22:57:09 110

原创 Yarn架构-简单理解

Yarn架构1.ResourceManager(RM)的主要作用如下:(1)处理客户端的请求(2)监控NodeManager(3)启动或监控ApplicationMaster(4)资源的分配与调度2.NodeManager(NM)的主要作用如下(1)管理单个节点上的资源(2)处理来自ResourceManager的命令(3)处理来自ApplicationMaster的命令3.ApplicationMaster的主要作用如下(1)负责数据的切分(2)为应用程序申请资源并分配给内部的任务

2020-09-20 20:04:02 58

原创 HBase Error org.apache.hadoop.hbase.InvalidFamilyOperationException

HBase在createTable的时候遇到如下问题:代码public class HBaseClient { public static void main(String[] args) throws Exception { Configuration configuration = HBaseConfiguration.create(); Connection connection = ConnectionFactory.createConnection(configuration);

2020-09-20 18:26:05 14

原创 HBase的使用命令总结

准备工作配置好一个master,两个slave:slave1,slave2,启动hadoopmaster结点[root@master ~]# start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [master]master: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs

2020-09-20 11:21:39 15

原创 流行的大数据技术

流行的大数据技术,涉及大数据处理的各个阶段,包括:架构,采集,存储,计算处理和可视化。我们下面对hadoop生态圈做下了解:The hadoop includes these modules:Hadoop Common: 为其他hadoop模块提供基础设施。Hadoop Distributed File System(HDFS™): 一个高可靠、高吞吐量的分布式文件系统Hadoop YARN: 一个新的MapReduce框架,任务调度与资源管理Hadoop MapReduce: 一个分布式的

2020-09-20 09:55:30 109

原创 Hbase安装启动时遇到问题

Hbase安装启动时遇到无法启动zk端口2181问题解压、配置完后执行start-hbase.sh后使用jps未看到HMaster:查看log,提示zk运行的端口应该是2182而不是默认的2181Could not start ZK at requested port of 2181. ZK was started at port: 2182根据提示,在hbase-site.xml中增加一条配置信息:<property> <name>hbase.zookeeper

2020-09-20 09:04:50 25

原创 java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.

查找设置mapper所用类型job.setMapperClass(RMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputKeyClass(IntWritable.class);job.setMapperClass(RMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);2

2020-09-14 15:25:44 47

原创 org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:164)

问题出现的原因: @Override public void write(DataOutput out) throws IOException { // TODO Auto-generated method stub out.write(year); out.writeInt(month); out.writeInt(day); out.writeInt(wd); } @Override public void readFields(DataInput in) throws

2020-09-14 10:37:46 17

原创 Hadoop天气系统

1.写完计数程序打包成jar只要class文件即可2.上传到node1上3.hadoop jar weather.jar com.hadoop.mr.weather.WeatherSystemhdfs dfs -ls /data/weather/outputhdfs dfs -cat /data/weather/output/part-r-00000也可以把内容copy到当前的目录hdfs dfs -get /data/weather/output/* ./public class Weat

2020-09-13 23:45:05 44

原创 Hadoop中DataNode没有启动

Hadoop中DataNode没有启动主要原因是因为namenode 启动格式化引起的clusterID不一致把datanode的clusterID 修改为namenode上的clusterID[root@node1 hadoop]# cat /var/hadoop/ha/dfs/name/current/VERSION #Sun Sep 13 06:16:51 CST 2020namespaceID=240374401clusterID=CID-6b9fbb66-0dd8-4a59-ad6e

2020-09-13 23:06:56 9

原创 Hadoop wordcount源码

1.写完计数程序打包成jar只要class文件即可2.上传到node1上3.hadoop jar wordcount.jar com.hadoop.mr.WordCounthdfs dfs -ls /data/outputhdfs dfs -cat /data/output/part-r-00000也可以把内容copy到当前的目录hdfs dfs -get /data/output/* ./package com.hadoop.mr.count;import java.io.IOExce

2020-09-13 11:43:09 9

原创 Hadoop 2.6.5 Windows Eclipse环境搭建

准备材料hadoop-eclipse-plugin-2.6.0.jarhadoop-2.6.5.tar.gzhadoop-2.6.5-src.tar.gz(不debug查看源码这个也可以不用)对windows支持很好的bin的一些文件准备好这些以后,需要做以下事情把hadoop.dll move/copy到C:\Windows\System32(最好重启系统)把hadoop-eclipse-plugin-2.6.0.jar放到eclipse的plugin目录下,最好重启eclipse解压

2020-09-12 22:42:15 19

原创 hadoop 2.6.5下的服务器搭建记录

免密钥有两个需求场景:1.管理脚本 远程管理其他的节点脚本启动2.ZKFC:需要免密钥控制对方和自己JNN配置步骤:1.逻辑到物理的映射2.journalnode相关位置信息的一个描述3.发生故障免密钥的切换的配置启动过程1.先启动JNN2.再启动一个NameNode进行格式化,然后启动这个namenode3.另外一个NameNode启动进行信息同步1.上传解压tar xf zookeeper-3.4.6.tar.gz2. mv zookeeper-3.4.6 /opt/sxt/3

2020-09-12 21:20:58 11

原创 Nginx的简单介绍

Nginxengine x是一个高性能的HTTP和反向代理的服务器,也是一个IMAP/POP3/SMTP代理服务器。第一个公开版本0.1.0发布于2004年10月4日其将源代码以类BSD许可证的形式发布,因它的稳定性,丰富的功能集,示例配置文件和低系统资源的消耗闻名官方测试nginx能够支撑5万并发连接,并且CPU等资源消耗非常低,运行非常稳定。2011年6月1日,nginx1.0.4发布-apache, httpdNginx是一款轻量级的web服务器/反向代理服务器以及电子邮件代理服务器,并

2020-09-10 20:44:51 14

原创 实现二叉树的先序,中序,后序遍历

题目描述分别按照二叉树先序,中序和后序打印所有的节点import java.util.*; class TreeNode { int val = 0; TreeNode left = null; TreeNode right = null;} public class Solution { /** * * @param root TreeNode类 the root of binary tree * @return int整型二维数

2020-09-10 00:10:39 31

原创 算法-反转链表

题目描述输入一个链表,反转链表后,输出新链表的表头。package niuke;public class Solution { public ListNode ReverseList(ListNode head) { if(head == null || head.next == null) return head; ListNode newHead = head; while(head.next!=null){ Lis

2020-09-10 00:08:05 11

原创 算法-把二叉树打印成多行

题目描述从上到下按层打印二叉树,同一层结点从左至右输出。每一层输出一行。package niuke;import java.util.ArrayList;import java.util.Queue;import java.util.LinkedList;public class Solution { ArrayList<ArrayList<Integer> > Print(TreeNode pRoot) { ArrayList<Ar

2020-09-10 00:01:09 17

原创 大数据的基础知识普及

大数据大数据的定义生成和消费模式发生了很大的变化原模式:少数公司生成数据,人们消费数据。如电影、报纸新模式:人们生产数据,人们消费数据。比如微信操作、搜索操作、买东西的痕迹美国国家标准技术研究院给大数据的定义:大数据有规模巨大(Volume)、种类繁多(Variety)、增长速度快(Velocity)、和变化多样性(Variability),且需要一个可扩展体系结构来有效存储、处理和分析广泛收集来的数据IBM早期提出4V特性,强调数据的数量(Volume)、多样性(Variety)、速度(Ve

2020-09-09 22:39:57 47

原创 jms的一些实现

JMSJMS实现(Provider implementations)要使用JMS,必须要有相应的实现来管理session以及队列,从Java EE1.4开始,所有的Java EE应用服务器必须包含一个JMS实现。以下是一些JMS实现:JMS服务提供者JMS产品简述ApacheActiveMQActiveMQ是Apache下的开源项目,完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。ApachekafkaKafka是Apache下的一个子项目

2020-09-09 17:04:55 17

转载 NoSQL的四大类型

NoSQL的四大类型1 键值数据库相关产品:Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached应用:内容缓存优点:扩展性好、灵活性好、大量写操作时性能高缺点:无法存储结构化信息、条件查询效率较低使用者:百度云(Redis)、GitHub(Riak)、BestBuy(Riak)、Twitter(Ridis和Memcached)2 列族数据库相关产品:BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS

2020-09-09 16:30:28 21

原创 @Before@After@BeforeClass@AfterClass

The following are topics that you should be aware of when migrating existing JUnit 4 tests to JUnit Jupiter.Annotations reside in the org.junit.jupiter.api package.Assertions reside in org.junit.jupiter.api.Assertions.Note that you may continue to use a

2020-09-01 16:57:03 31

圆周率-计算 MapReducer|hadoop-mapreduce-examples-2.7.3.jar

用于圆周率计算的 api jar hadoop jar *.jar pi 10 1000000000

2020-09-20

weather.jar|weather.jar

hadoop 天气系统的简单实现,学习简单!数据只需要年月日温度即可。 格式如下: yyyy-MM-dd 23c

2020-09-13

00-myspring.war|00-myspring.war

本文通过手写Spring,实现Spring MVC基本功能,为学习Spring源码做准备。分三个阶段: 配置阶段:设置application.properties和定义Annotation。 初始化阶段:重写Servlet的init方法,实现加载配置文件,读取配置信息, 扫描所有相关的类, 初始化相关类的实例并保存到IOC容器, 从IOC容器取出对应的实例给字段赋值,即依赖注入, 最后将url和Method进行关联。 •运行阶段:主要完成Spring容器启动后,完成用户请求的内部调度,并返回响应结果。

2020-09-03

00-myspring-ioc.war|00-myspring-ioc.war

手写spring ioc(Inversion of Control控制反转,也称依赖倒置(反转))代码的实现

2020-09-04

00-myspring-di.war|00-myspring-di.war

手写spring di的源码实现 包括构造参数依赖、在构造参数中排除循环依赖,属性依赖以及他们的测试案例

2020-09-04

googleapi.jar

googleapi.jar

2011-05-02

人工职能的考试试题期末的

两套期末的考试试题 带答案的 呵呵大家好好下载把 谢谢了

2009-05-26

人工智能期末考试试卷大全

人工智能的考试试卷 含有很多的版本一共是8套 大家逐个 看看把

2009-05-26

数据结构算法与应用-C语言描述.pdf

数据结构算法与应用-C语言描述数据结构算法与应用-C语言描述.pdf.pdf

2008-11-18

Thinking.In.C++,.Second.Edition.Volume.1.pdf

Thinking.In.C++,.Second.Edition.Volume.1.pdf

2008-11-18

HTTP Developer's Handbook.chm

HTTP Developer's Handbook.chm 关于 http,很好的

2008-11-18

羊皮卷【英文】 羊皮卷【英文】 羊皮卷【英文】

羊皮卷【英文】里面好多需要的内容,非常的好

2008-11-18

djvu阅读器可以播放djvu文件

一个c++教程的播放器,很好用很小的,我接着上传一个c++的文件就是这个打开的

2008-10-30

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除