- 博客(23)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 java.sql.SQLException: Incorrect string value: ‘\xE6\x89\x8B\xE6\x9C\xBA‘ for column
mysql表的结构问题。已解决
2021-07-31 15:34:22
748
原创 scala基于akka实现RPC原理
Akka实现通信思路master创建一个MasterActorSystem，用来创建masterActor（每个MasterActorSystem在一个进程中）创建一个MasterActor（可以创建多个）Master继承Actor特质（目的为了实现具有发送信息和接受处理信息的能力）Worker也启动起来（建立WorkerActor）Worker主动向master发送注册的消息（发送一个RegisterWorker 的case类）Master接收到RegisterWo
2021-07-25 11:22:35
189
原创 day03_MR2数据倾斜、内部处理细节、分布式缓存、combiner，序列化
数据倾斜（重要）由于默认的分区规则，哈希值取模后可能会导致各分区的数据量相差过大，造成单个机器的负载过大，这就是数据倾斜。例如a a a b c c c d —>默认按照hash%2=区号规则分区：[aaa ccc] [b d]。解决方案：增加reduce的个数，但不能从根本上解决重写分区规则打散数据，把每个字母后面加上一个随机数后再取余，保证了数据均匀，但是需要再来一个机器汇总结果。下面使用java模拟第三种方式需求：F:\development\mrdata\skew\in.
2021-07-12 16:53:17
108
原创 day02_mapreduce编写，运行原理，案例
来源：doit教育1 MR设计思想任务如何合理的分配？一般来说为了方便管理，DN机器内存大部分是一致的，所以划分任务的时候按照大小划分，DN收到任务后，并行地运算数据。数据运算结束后，需要将数据发送到存储数据的机器上，可能需要多个机器来存储数据，为了保证数据的分布式存储（每台机器上对同一个数据要完整的存储例如：a只存储在DN1机器，不是在DN1和ND2上），引入了分区器。分区器对map阶段处理的数据得hash值%2 ，根据得到0或者1的结果，把相应的数据存储到DN机器上。这个存储的过程就是red
2021-07-12 16:18:34
90
原创 day01_hdfs简介、安装、hdfs读写，Java api，简单的原理
资源来自：doit教育1 大数据概述1.1 简介 随着互联网的不断发展，世界上产生的数据正在以指数级增长，已经增长到了TB，PB甚至EB级别，比如百度搜索多易教育，就能搜索到近亿的词条，如果服务器使用常规手段进行数据的搜索，那么如此庞大的数据量会消耗大量的时间，给用户带来不好的使用体验。在这样的需求背景下，大数据应运而生。 大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2021-07-12 16:15:04
141
原创 [main-SendThread(localhost:2181):ClientCnxn$SendThread@1102] - Session 0x0 for server null, unexpect
今天启动zookeeper的时候出现了这个错误，在网上找了好久，没有解决我的问题。后来才发现自己执行启动命令的时候犯了一个超级愚蠢的错误；我在zookeeper的bin目录下新建了一个zk.sh的一键启停的脚本文件如下#!/bin/bash#启停cmd=$1for hostname in linux01 linux02 linux03doecho "正在执行 $cmd $hostname" ssh $hostname "source /etc/profile;/opt/apps/zookee
2021-06-29 19:56:47
2672
原创 解决idea2020每次创建新maven项目仓库地址还是默认的c盘下的仓库
随便打开一个项目，点左上角file----->new projects settings---->seting for new projects选好自己提前准备好的仓库地址和seting.xml文件点击ok,下次再创建新的maven项目的时候就是默认选择的这个仓库了。大功告成。...
2021-06-28 22:23:56
1937
转载 解决在windows下system32/drivers/hosts文件无法修改的问题
https://blog.csdn.net/qq_33703550/article/details/79230577?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EB
2021-06-17 19:11:42
778
原创 java数据运算常见ApI（Math、BigInteger、BigDecimal）的学习
Math类abs 绝对值round 四舍五入ceil 向上取整floor 向下取整max 求最大值min 求最小值pow 次幂package com.doit.demo;/* java.lang.Math 数学工具类 构造方法私有 所有方法静态 静态常量 public static final double PI; 静态方法 public static int abs(int nu
2021-05-18 18:54:45
278
原创 Java时间类（Date、DateFormat、Calendar）的使用+2个小练习
Date类DateFormat类Calendar类两个练习Date只有下面几个方法比较常用了string new Date() 获取当前时间 返回String类型long getTime() 时间毫秒值 返回long类型数据setTime(int num) 为日期赋毫秒值package demo01;import java.util.Date;public class d1 { public static void main(String[] arg.
2021-05-17 13:57:36
253
原创 String的一道面试题三种解法
"abchelloabchello"中计算子串"abc"出现的次数。/* "abchelloabchello"中计算子串"abc"出现的次数。*/public class Test { public static void main(String[] args) { String str = "helloabchello"; String s = "abc"; System.out.println("-------------------");
2021-05-16 22:43:37
64
原创 String类的常见方法的使用
字符串的特点String字符串不变：字符串的值在创建后不能被更改string s = "abc"; "abc"这个字符串存到了方法区，是一个常量。String str3 = new String("abc");和 String str4 = "abc";的区别字符数组字节数组和字符串的转换重要：使用构造方法把字符数组转换成字符串char[] chs = {'a','b','c','d'};String s = new String(chs);//使用构造方法截取字符数组部分元素
2021-05-16 22:36:48
105
原创 static+代码块+静态常量+访问权限修饰符总结+匿名内部类+案例
static+代码块+静态常量+访问权限修饰符总结+匿名内部类+案例static以及代码块静态常量访问权限修饰符和总结匿名内部类案例static代码块成员代码块类名{ //成员代码块 { 主体; }}创建对象时执行一次，创建一次执行一次。创建子类对象时执行一次。静态代码块：类名{ //代码块 static{ 主体; }}当类加载时，静态代码块会执行 类只加载一次，所以静态代
2021-05-07 21:16:35
267
原创 final、接口、多态和static
final、接口、多态和staticfinalfinal 是一个修饰符，被他修饰的不能改变，类似c++语言中的const被他修饰的类不能被继承被他修饰的方法不能被重载被他修饰的变量不能改变值，变成了常量。修饰类格式final class 类名{ }修饰方法格式修饰符 final 返回值类型 方法名(参数列表){ //方法体}修饰变量基本类型只能被赋值一次引用类型的地址值只能被赋值一次引用类型成员变量用final如何初始化public class F
2021-05-07 21:14:03
63
原创 匿名对象+继承后的构造方法+抽象类+练习
匿名对象没有变量名的对象特点匿名对象如果不给变量赋值 只能使用一次匿名对象可以作为方法的参数和返回值常见的使用：为ArrayList类添加对象ArrayList<Person> list = new ArrayList<Person>();list.add(new Person());包记住包名要小写，然后一般是公司域名的反写例如com.baidu，idea会自动调包。继承继承概念1：当定义一个类的时候，发现要定义的类和已有类两个类相似要定义的类属于
2021-05-07 21:12:17
126
原创 类与对象+封装+构造方法+Java Bean+练习
本文首先对面向对象、面向过程、类和对象的概念表述了自己的一些见解，然后对创建对象的在内存中的过程做了简单的描述。接着介绍了private修饰符和封装的概念。最后定义一个手机类对他实例化使用Java Bean的简化格式完成这个小练习。
2021-04-30 19:47:55
520
2
原创 基本数据类型和引用数据类型作为方法参数传递的不同
基本类型作为方法参数传递我们在main中定义了一个int型的变量a，调用change()方法后再打印a的值，会发生改变吗？代码如下：public static void main(String[] args) { int a = 10; change(a); System.out.println(a);}public static void change(int a){ a = 20;}答案是不会。原因是方法的参数在这里传递的只是
2021-04-27 19:49:10
411
原创 IDEA+数组内存相关
IDEA的使用数组IDEA目录结构IDEA目录关系：Project -> Modules -> packages -> classProject相当于一个工作目录，Modules就是模块，不同包下面的类没有关系。。-> 就是模块的标志IDEA快捷键ctrl+D 复制本行 Ctrl+Y删除本行 循环次数.for 快速输出循环值.sout() 快速打印 数组变量.fori 快速对数组循环 new 类名().var 直接补全前面内容条件表达式.if 直接.
2021-04-26 17:43:59
65
原创 Scanner+Random+switch的使用
Scanner类Random的使用switch的注意事项Scanner的使用Scanner的常见方法：nextInt() nextDouble()next() nextLine()的区别next()不能输入空格字符串``nextLine()`可以输入空格字符串和换行，并且他不能和上面的一起使用，否则会接受换行符。有两种方法输入带空格的字符串。见下面import java.util.Scanner;public class Scanner_Demo{ public static .
2021-04-26 17:13:39
100
原创 数据类型+数据类型转换+运算符
数据类型1 B（字节） = 8 bit 计算机以字节为存储单位。1 KB = 1024 B1 MB = 1024 KB1 GB = 1024 MB1 TB = 1024 GB1 PB = 1024 TB数据类型关键字内存占用取值范围字节型byte1个字节-128 至 127短整型short2个字节-32768 至 32767整型int（默认）4个字节-231 至 231-1长整型long8个字节-263 至 263-1
2021-04-26 16:48:40
50
原创 Java基本介绍+命名规则
JDK JRE JVM关系JDK （英文：java development kit）也就是java开发工具。他的的作用就是给开发人员提供开发用的，开发人员可以没有jre，但是照样可以搞开发。我们熟悉的javac – 编译器(作用是将源程序转成字节码)和jar – 打包工具(作用是将相关的类文件打包成一个文件)都是在JDK中。JRE （Java Runtime Enviroment，是指Java的运行环境，是面向Java程序的使用者。开发人员编好java文件后，电脑需要运行这个程序就必须要有JRE！JRE
2021-04-26 16:21:25
276
1
空空如也
我在使用conda安装TensorFlow的时候一直是这个界面？大概半小时了。怎么解决？
2021-12-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人