- 博客(39)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Redis学习笔记
Redis能做什么不能做什么？可以存哪些数据可以做什么操作存储方面访问方式I/O 模型设计–网络连接的处理、网络请求的解析，以及数据存取的处理，是用一个线程、多个线程，还是多个进程来交互处理呢？该如何进行设计和取舍呢？（如果一个线程既要处理网络连接、解析请求，又要完成数据存取，一旦某一步操作发生阻塞，整个线程就会阻塞住，这就降低了系统响应速度。
2023-06-08 16:18:07
733
原创 在Redis中保存时间序列数据
最近做了一个需求，是从H5提供的表里拉到数据然后需要在redis中按照时序顺序保存数据。目前是用zset实现的，但是我做完之后想了想，这样存数据是否会以后对功能扩展有阻碍或者会不会有其他的隐藏问题？于是去研究了一下有没有Redis保存时间序列数据支持高性能访问的好方法。首先，使用Sorted Set保存时序数据，把时间戳作为score，把实际的数据作为member，有什么潜在的风险？我目前能想到的风险是，如果对某一个对象的时序数据记录很频繁的话，那么这个key很容易变成一个bigkey，在key过期释放
2021-07-22 09:18:53
2657
2
原创 算法复杂度分析
复杂度分析用来做什么？ 当我们设计一个算法的时候，我们希望让设计的代码运行的更快，更省内存。但是如何考量以上两个指标呢？我们需要通过时间、空间复杂度分析的方式来进行考量。复杂度分析对算法来说非常的重要，也是整个算法学习的精髓。为什么要做复杂度分析？ 当然，我们写完之后把代码跑一遍，也能得到算法损耗的时间以及存储空间（像力扣刷题一样）。我们做数据分析真的能比把代码跑一遍准确吗？ 首先，把代码跑一遍的评估方法是正确的，一些书籍将其称作事后统计法。但是，这些方法拥有局限性。局限性体现在以下方面。
2021-04-01 14:48:36
7517
1
原创 Mysql索引机制
Mysql索引机制索引用来做什么索引是什么为什么用B+Tree来实现呢？哈希表哈希表构成哈希表查询哈希表优缺点适用场景有序数组有序数组查询有序数组优缺点有序数组适用场景搜索树搜索树特点搜索树查询N叉树如何进行计算搜索树适用场景怎么给字段加索引索引如何工作索引的常见模型索引用来做什么 数据库索引的出现用来提高查询效率。像查字典的目录一样，根据目录去拿到相应的内容能大大提高查询效率。索引是什么 索引是一种有序的数据结构。可以用B+Tree来实现为什么用B+Tree来实现呢？我们以下分析用于提高读
2021-03-03 08:52:24
994
1
原创 Mysql基础架构概述与事务隔离
Mysql基础架构概述Mysql基础架构概述我对mysql基础架构的学习初衷Mysql基础架构的组成以及作用一条查询语句是如何执行的？Mysql基础架构概述我对mysql基础架构的学习初衷 在我们以往去使用mysql进行增删改查的时候，我们看到的只是输入一条语句，返回一个结果。希望经过学习之后，我们能够了解mysql的基础零件及其作用，当遇到问题的时候能直戳本质，更为快速地定位并解决问题。Mysql基础架构的组成以及作用 Mysql的基础架构分为Server 层和存储引擎层两部分。在我们的日常
2021-02-03 20:53:21
973
1
原创 Java面试1.5年面经总结
Java面试1.5年面经总结事情的起因是这样的： 在2020年的年底，我经过了一些基础知识以及算法题的准备,试水了人生的第一波社招，成功从传统企业转到了大部分都是同龄人的小互联网公司。答上来了很多问题，也没有答上来很多问题。我对本次社招做的准备主要有： 力扣Hot100题集，《Offer来了：Java面试核心知识点精讲（原理篇）》，极客时间《Java核心面试36讲》，还有一些网上找的框架方面的面试题面经。我答不上来的问题主要有：...
2021-01-25 14:30:05
335
4
原创 IDEA中导入项目运行失败提示Illeagle Arguement，访问404解决方法（Idea的Modules设置）
文章目录IDEA中导入项目运行失败提示Illeagle Arguement，访问404解决方法（Idea的Modules设置）起因尝试1：设置resources文件尝试2：啃代码尝试3：完全重新设置Modules，解决IDEA中导入项目运行失败提示Illeagle Arguement，访问404解决方法（Idea的Modules设置）起因 事情的起因是这样的： 公司的项目需要开发一个门户网站，我们团队的方案是找一个WCMS开源项目，生成一个。然后经过技术选型之后敲定使用铭飞CMS，也就是MCMS
2020-11-11 14:24:47
1032
1
原创 GitLab在本机切换账户配置并上传项目
GitLab在本机切换账户配置并上传项目1、进入控制面板，新增git账户，配置用户名及密码2、在gitBash上切换账户3、上传项目 之前已经在本机创建了一个Vue项目，同事给了我一个GitLab账号叫我使用他的账号上传一下项目。但是我本机的配置是我自己的git账号，那么如何切换呢？在此将相关操作罗列如下：1、进入控制面板，新增git账户，配置用户名及密码输入用户名及密码，添加一条凭据2、在gitBash上切换账户在项目中先删除无用的配置(.idea或.git等配置)保留需要上传的项目文件
2020-09-27 11:39:21
5599
原创 使用webStorm创建vue.js项目并运行
文章目录前言下载环境1、下载Node.js并安装配置nodejs的全局路径以及缓存路径设置环境变量设置系统环境变量设置用户环境变量安装一个module测试一下上述环境变量是否配置成功，以安装express模块为例2、安装淘宝镜像（类似于阿里云的maven中央仓库的镜像）3、安装webPack4、安装Vue检测上述操作是否安装成功使用WebStorm创建Vue前言下载环境最近接了一个活儿，是用WebStorm开发一个基于VUE的网站没接触过VUE相关的项目实践，将环境相关试错罗列如下：下载并安装we
2020-09-25 15:35:05
2179
原创 eclipse中设置Gitlab的改动显示
eclipse中设置Gitlab仓库的改动显示 最近接手了一个老项目，是Maven项目，用的SpringBoot微服务架构。所以为了方便开发又用回了eclipse，重新配了GitLab并顺利clone了下来。但是由于本人对eclipse里GitLab的配置不熟练，所以出了如下问题： 不管我的代码怎么改动，项目还是如下这个图标，并不像以前做SVN的时候会显示星花，这样我不能直观地了解到哪个改了。这个项目下的所有文件的图标上都不会出现星花。以下就是我为了解决这个问题所作出的尝试：1、WIndow-
2020-05-20 09:58:32
756
原创 微信小程序获取用户手机号Java后端处理：BadPaddingException: Given final block not properly padded. Such issues can
微信小程序获取用户手机号后端处理官网流程概述后端逻辑数据校验后端实现官网流程概述微信官方网页对于微信小程序获取用户手机号的处理描述如下这页主要是对前端做法的描述，主要描述了前端应该提前通过wx.login登陆，或者进行登录态检查，以此避免刷新登录态的操作，避免出现服务端存的sessionKey不是最新的sessionKey从而出现敏感数据解密失败的问题。后端逻辑微信会对这些开放数据...
2019-12-06 14:20:41
2790
原创 搭建Consul报错Failed to start RPC layer: listen tcp XX.XXX.XXX.XXX:XXXX:: bind: cannot assign requested
搭建SprinfCloud-Consul报错解决方案搭建步骤报错过程为解决此问题作出的尝试搭建步骤1、解压unzip -o -d /usr/springcloud/consul consul_1.6.0_linux_amd64.zip2、在consul目录下创建conf、data/consulData文件夹3、把basic.json文件放到conf目录。4、开启端口：及其它相关端口f...
2019-11-22 11:38:41
7300
原创 IntelliJ IDEA和Eclipse最常用的快捷键对应表
描述EclipseIntellij代码补全Ctrl+spaceCtrl+space打开类或者接口（两个IDE都支持使用“驼峰字符”前缀的方式来过滤查找列表，进而轻松完成搜索；比如：可以使用“PoDI”来检索PodcastDaoImpl类）Ctrl+Shift +TCtrl+N快速打开文件/资源Ctrl+Shift+RShift+F6打开声明F...
2019-09-11 13:48:12
308
原创 微信小程序-常用API开发技巧学习笔记
常用API开发技巧学习笔记第一章 认识微信小程序前后端分离的开发方式小程序的特点小程序对开发者的影响学习小程序需要的基础第二章 小程序环境搭建与开发工具介绍小程序开发环境第一章 认识微信小程序 微信小程序是一种不需要下载安装即可使用的全新的连接用户与服务的方式，它可以在微信内被便捷地获取和传播，同时具有“用完即走，不用关心是否安装太多应用”的使用体验。 微信小程序做成了一个开放式的平台，...
2019-07-17 11:03:19
4285
1
原创 在eclipse里设置Java,jsp,xml,html代码提示
1、打开eclipse，选择Window–>Preferences.2、先设置java文件的自动代码提示。在Preferences中找到Java–>Editor–>Content Assist，然后将Auto activation triggers for java右边的输入框中的".“改为你想输入后就会提示的内容，例如想要在Java文件中输入a-z都会有代码提示，则将输入框的...
2019-07-15 09:30:24
668
原创 MyBatis-Plus学习笔记
文章目录Mybatis-Plus什么是Mybatis-PlusMybatis-Plus特性快速开始使用Mybatis-Plus什么是Mybatis-PlusMybatis-Plus（简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。Mybatis-Plus特性无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如...
2019-07-15 09:28:55
498
原创 eclipse代码补齐快捷键失效问题
1：在Window/preference/general下面的keys中，把content asist这个改成alt + /2：在下面，有一个when，选择editing text。这样就会ok了。如果还不好，多按几下alt+/就好了按一下按三下[注]关于在preferences下面设置快捷键，java下面的模板应用的话，显著提升代码速度。工作学习中其他常用快捷键：1....
2019-02-28 10:47:35
3063
2
原创 CentOS6.5基于Ambari搭建Hadoop开发环境
文章目录准备环境搭建过程准备环境部署好的Ambari-server安装完成的MariaDB等等准备环境的过程详见我上一篇博客的链接搭建过程(1)登陆进入Ambari初始页面(右键翻译会将整个页面翻译成中文，但是某些专有名词会被翻译得很怪hhh)(2)单击按钮Launch Install Wizard，开始搭建集群输入集群名称，点击下一步(我这里的集群名称是myCluster)...
2019-02-19 14:19:34
331
原创 CentOS6.5搭建Ambari大数据开发平台教程
文章目录基本准备工作安装MariaDB安装Ambari基本准备工作（）在Windows下安装JDK1.8(我安装的是1.8.0_181)②配置JDK1.8环境变量安装MariaDB安装Ambari
2019-02-16 21:43:41
369
原创 Linux虚拟机Kernel panic-not syncing:Attempted to kill init解决办法
今天开虚拟机，报如下错误，无法开机经过研究，发现应该是虚拟机发生了故障。故障原因是，将SELINUX修改为了disabled导致Linux系统启动故障。通过以下途径解决问题。（1）在开机读秒的时候，按下键e进入如下界面（2）再按e进入如下界面，选第二个按e进入编辑(3)在文件后面加上selinux=0按回车保存退出。(4)按b重启机器。解决问题...
2019-02-16 11:52:16
9821
原创 Spring boot搭建过程汇总
文章目录什么是Spring bootSpring boot优点Spring boot的搭建过程exlipse的Spring boot的简易搭建过程IDEA的Spring boot搭建过程Spring boot的使用什么是Spring bootSpring boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。(自动定义了一些配置)spr...
2018-12-21 10:44:00
1978
2
原创 Spark介绍及RDD整合
Spark介绍Spark是一个计算框架。它是一个快速可通用的引擎，主要用于大规模数据处理。Apache Spark是一个开源的计算系统，以使数据分析程序的书写和运行更快为目的。Spark另外的一个目的：Spark历史Spark的开发团队：伯克利大学的AMP实验室以下图就是AMP实验室所开发出来的计算框架做数据分析时所用到的技术Spark第一个版本是0.6版本Spark第一个版...
2018-11-18 22:48:13
746
原创 Scala语言基础整合
Scala目录Scala数据类型java中有的scala数据类型scala独有的数据类型Scala数据类型java中有的scala数据类型Byte 8bit的有符号数字,范围在-128 – 127Short 16 bit有符号数字,范围在-32768 – 32767Int 32 bit有符号数字,范围-2147483648到2147483647Long 64 bit有符号数字,范围-9...
2018-11-05 09:01:47
2602
原创 Spark集群搭建
文章目录Standalone集群的架构Spark的Standalone集群搭建的准备工作修改进入conf下配置文件的名字修改slaves配置文件内容将配置好的文件发往其他节点将启动命令改名运行:start-spark.shStandalone集群的架构Master--node1Worker--node2Worker--node3Worker--node4Spark的Standalone集群搭...
2018-10-30 08:24:48
323
原创 Yarn集群搭建
Yarn集群规划前五行是高可用的，完全分布式的结构，搭建教程见以前博文，链接如下https://blog.csdn.net/Andrea_null/article/details/83019723在此附加的就是两台ResourceManager(node1,2)和三台NodeManager(node2,3,4)。进入目录 cd /opt/software/hadoop-2.6.5/etc/...
2018-10-29 16:08:08
190
原创 Hive基本理论概述
文章目录Hive初识Hive原理效率问题Hive做了什么事情Hive架构将SQL语句给Hive，它会做哪些过程Hive搭建模式local本地：元数据库(derby)与工具都是在本地缺点local(mysql)模式：hive工具与mysql在同一个节点上基于mysql的远程模式Hive中表的类型内部表（受控表）：受Hive控制。删除内部表的时候，HDFS上的数据及元数据都会被删除。外部表：删除外部表...
2018-10-28 16:09:14
1510
原创 Scala基础
Scala数据类型Scala和Java相同的数据类型Byte 8bit的有符号数字,范围在-128 ~ 127Short 16 bit有符号数字,范围在-32768 ~ 32767Int 32 bit有符号数字,范围-2147483648到2147483647Long 64 bit有符号数字,范围-9223372036854775808到922337203685477...
2018-10-28 10:37:18
136
原创 Scala语言简介与安装整合
Scala语言简介Scala语言是一门基于JVM的编程语言Scala是也一门编译型的语言，它也是先编译成class，所以它可以与Java无缝整合。因为都是在JVM上运行。Scala2.10.4每个技术的版本号技巧：1.9.9到2.0.0大功能实现了跳跃，里面的功能，代码实现原理出现大改观，那么2.0.0版本可能出现非常多的bug。Scala的6个特征Java和Scala可以无缝混编...
2018-10-26 20:28:59
618
原创 大数据初学习之MapReduce理论概述
Hadoop-MapReduce分布式计算整理分布式开发思维与并行计算思维引例1假设有一个1T的大文件，这个文件的每一行是一个数字环境：一台服务器，核数：48core 64G内存需求：将大文件排序，不管是正序还是倒序思路：将大文件切成一个个的小文件[一次磁盘IO]，（按照行数来切，每个小文件有十万行数据）把每个小文件加载到服务器中排序[一次磁盘IO]（小文件之间无序，内部有序）...
2018-10-25 21:58:10
426
原创 Linux虚拟机配置静态网络
这里的Linux虚拟机CentOS6.5采用NET模式，配置静态ip装完虚拟机之后发现，网络是no network connection状态单击右上角电脑图标，出现如下下拉框点击System eth0之后电脑上的红叉会去掉在Terminal里面输入ifconfig查看网络状态可以看出，本机的IP地址是192.168.112.131进入目录/etc/sysconfig/network...
2018-10-21 10:17:18
483
原创 zookeeper启动的问题
本来准备搭建yarn集群，但是我某个节点的zookeeper集群启动出现了小问题。决定先把这个问题解决整理了再继续尝试搭建yarn集群实现MapReduce计算。问题描述如下[root@node2 ~]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /opt/software/zookeeper-3.4.1...
2018-10-21 09:37:12
778
1
原创 利用Java代码操控HDFS
HDFS的Java API当利用eclipse安装好HDFS环境了以后（具体步骤参考上一篇博文https://blog.csdn.net/Andrea_null/article/details/83032732），就可以编写代码操控HDFS了。编写的代码要参考关于HDFS的Java API。此处列举一部分操控HDFS的JavaAPI示例。首先，想要操控HDFS，要先创建配置对象。创建配置对象的...
2018-10-15 20:14:51
345
原创 搭建HDFS集群的客户端并利用eclipse控制HDFS
HDFS集群为什么要搭建客户端？因为我们不建议将某个DataNode作为客户端对数据进行操作。这种操作叫做集群内操作。集群内操作的缺点是，第一份数据总会存储在当前节点上，这样当前节点会存的数据多，出现数据倾斜问题。对于存储框架来说，有的节点存的多，有的节点存的少。第一个磁盘IO会高，久而久之导致第一台磁盘性能与其他有差异。如果每一次上传文件都是选择某一台datanode作为客户端，就会导致节...
2018-10-12 21:01:44
817
原创 在Windows下使用浏览器访问HDFS的小问题
关闭每个节点的linux防火墙方法1：临时性关闭防火墙（重启失效）/etc/init.d/iptables stop关闭完成之后可以输入以下指令查看防火墙状态/etc/init.d/iptables status 方法二：永久性关闭防火墙（重启生效）chkconfig iptables on在linux里搭建好HDFS并且跑起来如图（搭建过程参见上一篇博客）上一篇【博客HD...
2018-10-12 12:53:59
5517
1
原创 HDFS HA(高可用的)完全分布式搭建
本次尝试了HDFS HA完全分布式集群搭建，集群规划如下：监视监视ZK-node2,3,4ZKFC-node1ZKFC-node2NN1-node1NN2-node2JNN-node1,2,3DN-node2,3,4以下是本人成功搭建HDFS HA集群的步骤及踩过的坑1在配置好JAVA JDK的前提下搭建zookeeper集群①在node2节点下解压zookeeper包到node1节点虚拟...
2018-10-11 22:09:07
793
原创 HDFS完全分布式搭建过程踩坑特辑及HDFS操作指令总结
完全分布式搭建过程完全分布式系统的特点是，将各个角色的进程在不同的节点启动。本次尝试搭的分布式系统节点与角色设计如下：node1--NameNodenode2--SecondaryNameNode--DataNodenode3--DataNodenode4--DataNode1、将所有节点配置Java JDK，做配置完全分布式HDFS的准备工作①JDK的坑1首先，如果虚拟机里存在自带的...
2018-10-10 22:02:50
530
原创 大数据初学习之分布式存储HDFS理论概述
1、什么是大数据？：短时间内快速的产生海量的多种多样的有价值的数据大数据技术：分布式存储多台服务器并行计算（分布式计算）1、分布式的批处理攒一段时间的数据，在未来的某一个时间来处理这批数据2、分布式的流处理数据不需要攒，每产生一条数据，立马对这条数据进行处理，将结果推送前端页面存储到数据库中形成报表给老板（看到的时候都是有误差的，报表才是精准值）机器学习 包含深度学习（神经网络）...
2018-10-09 22:05:30
479
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人