- 博客(486)
- 收藏
- 关注
RSS订阅原创 HDFS中block的大小
HDFS中寻址时间一般为10ms，则传输时间最好为10ms/1%=1000ms=1s，而当前普通的机械硬盘的传输速度为100M/s左右，所以为了达到最佳状态，每个地址的数据大小最好为1s*100M/s=100M。如果block过大，传输时间的%1会明显大于寻址时间，导致寻址时间与传输时间不平衡，另外InputFormat的默认切片规则会以block的大小确定切片的大小，block越大，切片就会越大，Map过程会变得缓慢。由此每个block大的大小默认设置为128M。
2022-09-02 17:28:15
1396
1
原创 Hadoop中的一致模型
新建一个文件时，在文件系统中立即可见，例如：fs.creat(/test.txt),当程序运行到此，文件系统中就可以看到这个文件，但是在写入数据时，不会立即可见。文件在关闭close()的时候，其实隐含的执行了hflush()方法,此时数据可见，例如运行如下代码，在阻塞之前将流关闭。②使用hflush（）方法，可以 确保数据被刷新到da’tanode的内存中，但是不确保数据被写入磁盘，但是数据可见。程序运行之后，文件存在，查看文件内容不存在，当写入的数据超过一个块后，第一个块中的数据才可见。
2022-09-02 16:07:26
517
原创 Flutter 中 json 字符串与 Map 相互转化
近期项目从 OC 转 Flutter 过程中，接口调用返回数据时 json 字符串转 Map。
2022-09-02 14:42:04
2498
原创 Elasticsearch 索引数据多了怎么办，如何调优，部署？
基于模板+时间+rollover api滚动创建索引，举例：设计阶段定义：blog索引的模板格式为：blog_index_时间戳的形式，每天递增数据。这样做的好处：不至于数据量激增导致单个索引数据量非常大，接近于上线2的32次幂-1，索引存储达到了TB+甚至更大。冷热数据分离存储，热数据（比如最近3天或者一周的数据），其余为冷数据。一旦之前没有规划，这里就属于应急策略。结合ES自身的支持动态扩展的特点，动态新增机器的方式可以缓解集群压力，注意：如果之前主节点等规划合理，不需要重启集群也能完成动态新增的。
2022-09-02 11:59:00
788
原创 dubbo通信原理
二话不说，先上图dubbo底层使用socket建立长连接，发送、接收数据的形式进行通信，结合使用apache mina框架，使用IoSession.write()方法，这个方法是一个异步的调用。即对于当前线程来说，只需要将请求发送出去。就可以继续向后执行了。
2022-09-02 10:35:20
337
原创 dubbo异常整理
程序抛出这个异常的原因多数是因为在此[host:port]没有监听，那么该如何解决这个问题呢，如下//使用不带有host的InterSocketAddress//而不是使用它//当bind操作带有host时，只能通过指定host加端口访问，否则会抛出异常。
2022-09-02 09:12:28
533
原创 could not find java in ES_JAVA_HOME at rootoptelasticelasticsearch-8.1.2jdkbinjava
2022-04-14T14:28:12,711][WARN ][o.e.d.PeerFinder ] [node-1] address [[::1]:9303], node [null], requesting [false] discovery result: [][[::1]:9303] connect_exception: 拒绝连接: /[0:0:0:0:0:0:0:1]:9303: 拒绝连接。从上文中可以看到，全局的java是存在且版本号大于1.8的，并且当前用户非root用户。
2022-09-02 07:52:17
783
原创 dubbo java api
这一查询在dubbo -admin中用了一些手法，继承，监听等等 有兴趣可看源码。1.java 查询dubbo zookeeper上的服务提供者。重写MockClusterInvoker 方法。RegistryServerSync类。实质上 简单一点采用下面的方式就行。2.指定dubbo 服务请求ip。dubbo 包中的抽象类。...
2022-09-01 16:42:32
337
原创 docker启动rabbitmq后无法访问15672端口
docker启动rabbitmq后无法访问15672端口，经查找资料得知，rabbitmq默认web界面管理插件是关闭的，只要通过命令开启就行。3、在容器里执行命令rabbitmq-plugins enable rabbitmq_management 即开启web界面管理插件。2、命令进入容器docker exec -it fb7a78201d31 /bin/bash。1、docker ps查看rabbitmq的id fb7a78201d31。...
2022-09-01 14:15:20
1263
1
原创 C语言之网络编程（一）域名解析
在网络编程时，知道域名是不能直接访问一个主机的，需要转换成相应的IP地址。有时在程序中需要将一个IP地址转换成一个域名。本节将讲解C程序中的IP地址与域名的转换问题。提示：在TCP/IP网络中，通信双方的主机必须知道彼此的IP地址方可进行正常的通信，如果给出的主机的域名，在开始正常的通信前必须把域名转换为IP地址。这个域名到IP地址的转换过程称为域名解析。...
2022-09-01 11:45:55
618
原创 Apache Maven 3.5.3 详细配置
Maven配起来不难，毕竟用到Maven的同学都不是刚接触Java开发了，废话不多说，我们来配置Maven。
2022-09-01 09:01:02
721
原创 docker安装redis
在使用docker安装redis的过程中，根据网上的一些文章进行操作，但是到最后一步启动docker容器的时候发生错误。以配置文件启动redis，加载容器内的conf文件，最终找到的是挂载的目录/usr/local/docker/redis.conf。#myredis是启动之后的docker容器名称 docker run --name myredis -d redis。#不指定版本号，默认拉取最新版的redis docker pull redis。-v 挂载文件或目录 ：前表示主机部分，：后表示容器部分。.
2022-08-31 17:23:37
17020
6
原创 金九银十准备季：Java IO流面试题（含答案）
想把一个对象写在硬盘上或者网络上，对其进行序列化，把他序列化成为一个字节流。实现和注意事项：1）实现接口Serializable Serializable接口中没有任何的方法，实现该接口的类不需要实现额外的方法。2）如果对象中的某个属性是对象类型，必须也实现Serializable接口才可以，序列化对静态变量无效3）如果不希望某个属性参与序列化，不是将其static，而是transient串行化保存的只是变量的值，对于变量的任何修饰符，都不能保存序列化版本不兼容。...
2022-08-31 10:46:16
722
原创 详细SpringBoot框架教程——SpringBoot配置SSL（https）
如果使用了上面的配置就表示springboot应用程序不再在端口8080上支持HTTP连接请求，SpringBoot不能通过配置application.properties来实现既支持HTTP连接又支持HTTPS连接，这是做不到的，如果要同时支持HTTP和HTTPS，则需要以编程方式配置其中的一个，建议使用application.properties文件来配置HTTPS，以编程方式配置HTTP，这是比较容易的方法；1、生成证书，可以使自签名证书（平时测试的时候）或者从SSL证书授权中心购买证书（上线）；..
2022-08-31 09:24:15
12207
3
原创 Springboot启动流程
先填充Environment环境和设置的参数，如果application有设置beanNameGenerator（bean）、resourceLoader（加载器）就将其注入到上下文中。封装main方法的参数，初始化参数，写入到 Environment中，发布 ApplicationEnvironmentPreparedEvent（环境事件），做一些绑定后返回Environment。2、初始化监听器，获取SpringApplicationRunListeners并启动监听，用于监听run方法的执行。...
2022-08-31 07:54:03
1812
原创 记录一下SpringCloud-Gateway使用lb动态路由遇到的坑
前一段时间，学习springcloud-alibaba时候，学习到gateway组件与nacos注册中西一起使用时遇到了一个问题在此记录一下，避免以后遇到又做无用功。
2022-08-30 17:45:57
163
原创 解决IDEA的Plugin org.apache.maven.pluginsmaven-archetype-pluginRELEASE or one of its dependencies
在使用IDEA（之前没用过）创建maven项目时，总是创建不成功，文件残缺，下面是错误提示。点击Runner 在VIM Options位置添加(原理是：忽略了ssl证书的验证)打开maven解压目录下的conf文件夹里的setting.xml，在其中添加如下。尝试了网上很多解决办法才终于找到问题，现在分享一下。阿里的镜像更新了所以用https了而不是http。重启IDEA，新建maven项目，错误就不见了。，setting只是对当前项目进行设置。这个是仓库的路径，地址自己来定。全局默认设置(2019的是。.
2022-08-30 16:21:54
830
原创 网络编程学习笔记一：Socket编程
上面我们已经知道网络中的进程是通过socket来通信的，那什么是socket呢？socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，都可以用“打开open –> 读写write/read –> 关闭close”模式来操作。我的理解就是Socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭），这些函数我们在后面进行介绍。...
2022-08-30 14:55:53
240
原创 环境变量配置好了，tomcat启动依然闪退
今天起tomcat时突然闪退，环境变量也是好的，之前碰到这个问题都是重装tomcat。这一次我到任务管理器里找到Java进程，结束了进程发现好了。
2022-08-30 13:25:23
458
原创 来！PyFlink 作业的多种部署模式
孙金城（金竹），Committer & PMC Member at @Apache Flink，And Staff Engineer at @Alibaba。自 2015 年以来一直专注于大数据计算领域，并持续贡献于Apache Flink 社区。2011 年加入阿里巴巴集团，目前就职于阿里巴巴计算平台事业部，负责 Apache Flink Python API(PyFlink) 的整体架构开发工作。...
2022-08-30 11:59:13
1061
原创 入门级，Hadoop详情教程（二）(hive)
distribute by和sort by相结合，cluster by指定的列只能是降序，不能指定asc和desc，distribute by要在sort by之前。部分排序，只对每个reducer中的字段排序，不能保证所有的数据是有序的，除非只有一个reducer，可指定执行的reducer个数（：共有链指全世界任何人都可以读取，发送交易，且交易能获得有效确认的，也可以参与其中共识过程的区块链。子句，否则报错，对于分区表，必须要对分区字段加限制条件，否则会报错。：所有网络中的节点都掌握在一家机构手中，..
2022-08-30 10:38:38
246
原创 SpringBoot整合ES，通过倒排索引搜索并高亮展示
在SpringBoot项目中，要通过ElasticSearch实现根据关键字搜索内容的功能。
2022-08-30 09:10:25
266
原创 Hadoop伪分布式搭建步骤
注意：如果没有6个进程，请先关闭所有进程（stop-all.sh），再到5个配置文件中去修改，再运行，直到出现6个进程。配置环境变量，使hadoop命令正常执行，（修改环境变量，/etc/profile文件）配置全部完成，对hadoop结构进行启动，（可以分布启动，也可以一次启动）修改/etc/hosts文件内容，将IP地址与计算机名关联起来。进入无密码访问目录：/root/.ssh/登录成功后，请用exit命令退出远程登录。4、为了后面书写简单，改一下文件夹的名字。2、解压jdk软件包到wei文件夹下。.
2022-08-30 07:52:16
297
原创 IDEA创建Tomcat启动配置
5.配置启动参数，切换到startup配置页，在Environment variables中设置启动参数，并勾选【Pass Environment variables】，分别点击【Run】、【Debug】进行配置。】选择自己的Tomcat解压目录，配置合适的JRE，并输入HTTP port，默认是8080。6.点击【ok】，在控制台下方services页中可以看到对于的启动配置，右击即可选择run或者debug模式启动应用。2.点击左上方【+】，选择【Tomcat Server】->【Local】，...
2022-08-29 12:08:24
3953
原创 Could not find artifact org.apache.maven.pluginsmaven-source-pluginpomXXX
遇见这个问题好好看一看 mavent的setting.xml文件是不是少了东西，比如:镜像文件。
2022-08-29 10:47:48
551
原创 很详细的解决Tomcat乱码问题
经过上面几种方法的使用，肯定能解决大家的乱码问题，记录一下自己不会的东西，学无止境。还需要学习更多的知识，希望我的方法能解决和我遇到一样的问题的小伙伴。
2022-08-29 09:05:31
176
原创 安卓报错：java.lang.RuntimeException Unable to start activity ComponentInfo---getSupportActionBar()
代码中actionBar为空指针。
2022-08-28 08:56:21
418
原创 基于Ubuntu Kylin系统在Hadoop的环境下调用MapReduce对单词WordCount计数
通过本次实验的实际操作，将WordCount这么一个案例，进行一个刨析以及实际应用，能够清楚了解到MapReduce的处理过程，首先通过输入一个案例，进行Map输入，Map进行Key、Value操作，输出的形式，然后进行洗牌，将Map的结果传给Reduce任务，Reduce整合后，输出Reduce结果。...
2022-08-28 06:22:27
449
原创 前后端分离时后端shiro权限认证
*** 目的: shiro 的 session 管理* 自定义session规则，实现前后分离，在跨域等情况下使用token 方式进行登录验证才需要，否则没必须使用本类。* shiro默认使用 ServletContainerSessionManager 来做 session 管理，它是依赖于浏览器的 cookie 来维护 session 的,* 调用 storeSessionId 方法保存sesionId 到 cookie中。...
2022-08-28 03:52:25
329
原创 使用spring-data-redis实现incr自增
应该有不少人在使用spring-data-redis时遇到各种各样的问题。反正我是遇到了。使用的，做读写操作时候，都是要经过序列化和反序列化。这时你使用就可能报错了。
2022-08-28 01:20:27
408
原创 亲测有效，解决Can ‘t connect to local MySQL server through socket ‘tmpmysql.sock ‘(2) ；
如果套接字文件被一个cron任务删除，问题将重复出现，除非你修改cron任务或使用一个或使用一个不同的套接字文件，我的解决办法是重新指定一个不同的套接字，或者说，我现在没有mysql.sock文件，所以我要想办法生成一个。这么一运行，发现好像可以了，那接下来好办了，我们把之前改的配置改回来就行了，之前的目录应该是/tmp/mysql.sock，我们可以建立一个软连接连上去就可以了，首先，更改my.cnf文件，我的服务器中的目录为/etc/my.cnf，如果没有的话可以用find去查找，...
2022-08-27 06:55:31
1158
转载 【mysql报错】ERROR 2002 (HY000) Can‘t connect to local MySQL server through socket ‘tmpmysql
可以看到我的mysql已经声明了mysql.sock的文件位置，而错误提示为/tmp/mysql.sock;
2022-08-27 04:24:32
5175
原创 win环境下RabbitMq的安装，rabbitmq-plugins插件安装的解决办法
因为RabbitMq是基于Erlang开发的,所以需要先安装Erlang，并且为了最好全都安装最新版，避免安装过程出现版本不匹配问题。安装前端管理插件，执行命令：rabbitmq-plugins enable rabbitmq_management。移除的RabbitMq服务，执行：rabbitmq-service.bat remove。系统变量中新建变量：ERLANG_HOME ，值中输入Erlang的安装目录。系统变量中新建环境变量：RABBITMQ_SERVER，值中输入安装目录。...
2022-08-27 01:57:50
496
原创 Tomcat启动报错子容器启动失败
在复习JavaWeb时，想让自己的工作空间变得干净一点，于是清理了Tomcat安装目录webapps中以前留下来的web项目，在双击bin目录下的start.bat文件时CMD窗口一闪而过，顿时觉得奇怪，这种情况一般是JAVA_Home环境变量没配置正确。我因为之前在清理项目的时候将这三个文件夹一块删除了，所以Tomcat启动时出现了错误。的内容，保存后双击start.bat，发现Tomcat已经正常启动并可以访问8080端口了；发现路径都是正确的，说明我的环境变量配置没有问题。观察到主要信息内容是。...
2022-08-26 09:01:30
2384
2
原创 Stream流Collectors.toMap用法
第三个参数用在key值冲突的情况下：如果新元素产生的key在Map中已经出现过了，第三个参数就会定义解决的办法。第三个参数：(a,b)->a中，如果a与b的key值相同，选择a作为那个key所对应的value值。第一个参数：Person:getId表示选择Person的getId作为map的key值；toMap()的第一个参数就是用来生成key值的，第二个参数就是用来生成value值的。第二个参数：v->v表示选择将原来的对象作为Map的value值。如果key冲突，不加(a,b）->a会报如下错误。
2022-08-25 06:43:18
1010
原创 springCloud服务降级的三种方式
2.降级方法写在Controller中,写一个统一的降级方法。controller上加上注解，设置统一默认的降级方法。在每个方法上，加上注解@HystrixCommand。3.定义feign接口的实现类，实现类的方法处理降级。写一个类，继承feign接口。在feign借口中，加上注解。
2022-08-25 04:16:12
435
原创 springboot集成shiro时认证出现报错(Submitted credentials for token...)
2. 如果java已经将其加密，但仍然报错那就去ShiroConfig里面看凭证匹配器是不是set了hashIterations(2)这个异常对于对shiro还不太熟悉的我实在是难住了 看了一天的shiro才把问题解决 心塞塞…如果设置了2那么就是加密了两次 和你的密码肯定不匹配了，这个时候就把这行代码注释掉吧 因为默认就是1，散列一次。如果数据库储存的密码是加密的 那么要从前端获取密码后，在Java里将其转换成hash值。1. 前端传的密码是明文，而后台存储的是hash值，导致先后台不匹配报错。
2022-08-25 01:50:10
531
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人