- 博客(282)
- 资源 (11)
- 收藏
- 关注
原创 史上最好的kerberos文档,oracle
使用简单验证和安全层 - 在 Oracle® Solaris 11.2 中管理 Kerberos 和其他验证服务
2024-10-24 16:02:57 73
原创 hadoop源码解读
1、RPC指的是不同进程的方法调用,分为客户端和服务端,客户端调用服务端的方法,方法的执行在服务端。2、如何实现Hadoop RPC的调用,必须要实现协议,这个协议其实就是一个接口,但是这个接口必须要有一个重要的特征,里面必须有VersionID.3、RPC的服务端必须实现这些协议(接口)。4、如何构建RPV的调用。服务端:(构建者模式).build();客户端:获取代理以及各种参数Hadoop源码中有两种RPC,一种Hadoop RPC,另一种是HttpServer RPC,有什么区别?
2023-11-28 00:44:20 390
原创 学习剑指jvm
当然,调优时所考虑的方向也不同,在调优之前,必须要结合场景,有明确的优化目录,找到性能瓶颈,对瓶颈的有针对性的优化,最后测试优化后的结果,通过各种监控工具确认调优后的结果是否符合目标。我们很多时间讲到了增加内存可以提高系统的性能而且效果显著,那么随之带来的一个问题就是,增加多少内存比较合适,那么产生full gcr 时间,gc时间会相对较长。JVM性能调优的目标就是减少gc的频率和Full gc的次数,使用较少的内存用来获得较高的吞吐量或较低的延迟。2、希望解决线上JVM垃圾回收的相关问题,但无从下手。
2023-11-02 18:33:32 611
原创 Java Coding Problems Second Edition --chapter 01
5、jdk 8 s可以使用String ,join 进行字符串连接。6、java.util.StringJoiner 操作。2、StringBuilder 进行append操作。1、在jdk 8之前版本,可以使用 + 连接字符串。3、string.concat进行操作。4、string format进行插空。7、使用 StringJoiner。这个语法跟python的类似。
2023-09-29 09:00:56 270
原创 java虚拟机性能分析和故障解决工具
使用windows或unix命令也可以查询到虚拟机的进程的唯一ID,但如果同时启动多个虚拟机进程,根据进程名称定位,那只能依赖jps命令显示主类的功能才能区分。作用:列出正在运行的虚拟机进程,并显示虚拟机执行主类(Main class,main函数所在的类)名称以及这些进程的本地虚拟机唯一的id。作用:监视虚拟机各种运行状态信息,可以显示本地或者是远程虚拟机进程中的类装载,内存,垃圾收集,IT编译等运行数据。-v 显示进程ID,主类名称,以及传入的jvm的参数。-class:显示有关类加载行为的统计信息。
2023-06-02 01:01:07 495
原创 wsl 安装与卸载 及搭建hadoop开发环境
(1)找到后点开输入Windows Terminal(用于启动wsl)(2)找到后点开,输入wsl出现(Ubuntu等Linux版本)第一步换源,记得用清华的源,不要用阿里的源。1,开始使用 Ubuntu-22.04。4、安装openjdk。就可以打包和读代码了。
2023-05-20 01:47:56 930
原创 运维常见问题
使用 chattr -i /etc/sysctl.conf 删除文件隐藏权限(i权限)。/etc/sysctl.conf这个文件添加了隐藏权限(i权限),导致文件修改失败。/etc/hosts里面没有 127.0.0.1 localhost。lsattr /etc/sysctl.conf 查看文件隐藏权限。1、查看ls -l /user/bin/sudo的权限。4、/etc/sudoers 权限为440。权限需要是 chmod 1777 /tmp。2、系统执行sudo权限报错。tmp目录一般有 粘连符。
2023-04-23 23:28:51 398
原创 ntp服务配置
ntpd(Network Time Protocol daemon)是 Linux 操作系统的一个守护进程,用于校正本地系统与时钟源服务器之间的时间,完整的实现了 NTP 协议。初始运行 NTP 时,poll 值会比较小,和服务器同步的频率增加,建议尽快调整到正确的时间范围。初始运行 NTP 时,poll 值会比较小,和服务器同步的频率增加,建议尽快调整到正确的时间范围。初始运行 NTP 时,poll 值会比较小,和服务器同步的频率增加,建议尽快调整到正确的时间范围。:remote 远程服务器的级别。
2023-02-08 09:53:42 4766
原创 java可以非root启动特权端口
setcap 'cap_net_bind_service=+ep' /usr/java/jdk1.7.0_71/bin/java
2023-02-07 14:33:16 115
原创 bulkload导致性能变慢
bulkload是通过启动MapReduce任务直接生成HFile文件,再将HFile文件注册到HBase,因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源,也可能会生成大量很小的HFile文件频繁的触发Compaction,导致查询速度急剧下降。HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。
2023-01-23 05:07:36 1001
原创 名词解释1
用计算机辅助求解分析复杂工程和产品的结构力学性能,以及优化结构性能等,把工程(生产)的各个环节有机地组织起来,实现有关信息集成,使其产生并存在于工程(产品)的整个生命周期。指一种基于互联网提供软件服务的应用模式。通过综合考虑产能、工装、设备、人力、班次、工作日历、模具、委外资源、加工批次等约束,在有限产能条件下,实现产能精确预测、工序生产与物料供应最优计划等。指基于运输作业流程的统一调度管理平台,能实现客户、车辆、人员的信息管理,订单处理、调度配载、运输跟踪的运输作业,以及费用、收付款的财务管理。
2022-11-20 23:53:19 227
原创 Flink第一章实时计算引擎
Flink是一个针对流数据和批数据的分布式处理引擎,代码主要是由java实现,部分代码是scala。它可以处理有界的批量数据集,也可以处理无界的实时数据集。其所要处理的主要场景就是流数据、批数据只是流数据的一个极限特例而已,所以Flink也是一款真正的流批流一的计算引擎。
2022-10-13 00:42:14 3032
原创 Jupyter Notebook 有两种键盘输入模式
Shift-Enter : 运行本单元,选中下个单元。Alt-Enter : 运行本单元,在其下插入新单元。Shift-Enter : 运行本单元,选中下一单元。Alt-Enter : 运行本单元,在下面插入一单元。Ctrl-Shift-Subtract : 分割单元。Ctrl-Right : 跳到右边一个字首。Ctrl-Shift-- : 分割单元。Ctrl-Enter : 运行本单元。Shift-K : 扩大选中上方单元。Shift-J : 扩大选中下方单元。Ctrl-Home : 跳到单元开头。
2022-10-10 00:28:02 3098
原创 csdn算法每日一练
"""三个之和给你一个包含n个整数和数组nums,判断nums中是否存在三个元a,b,c使用a+b+c=0请你找出所有的和为0且不重复的三元组注意答案中不可以包含重复的三元组示例1:输入:nums=[-1,0,1,2,-1,-4]注意不可以包含重复的三元组示例2:输入:nums=[]示例3:nums=[0]输出:[]"""from typing import Listclass Solution: def threeSum(self,nums:List[int].
2022-05-24 22:21:07 324
原创 pyspark环境配置
第一:下载所有hadoop二进制包第二:下载spark 包第三:下载java第四:下载anancode# 创建虚拟环境 pyspark, 基于Python 3.8conda create -n pyspark python=3.8# 切换到虚拟环境内conda activate pyspark# 在虚拟环境内安装包pip install pyhive pyspark jieba -i https://pypi.tuna.tsinghua.edu.cn/simple通过.
2022-05-23 23:18:46 559
原创 python里面的列表的并交差集合运算
A = range(1,10)B = range(5,15)C =range(8,20)# A并B并cresult2 = list(set(A).intersection(set(B)).intersection(set(C)))print(result2)# AUBUC 并集result3 = list(set(A).union(set(B).union(C)))print(result3)# 差集# 元素在 A not Bresult4 = list(set(A).d.
2022-05-22 23:16:58 263
原创 田忌赛马可能赢的场次
田忌赛马问题可能赢的问题假设,假设田忌和大王的马的等级相同时,大王赢,如果有多个马,会有多少种情况呢。from itertools import combinations, permutationsimport numpy as np#有几个马num_house=8#生成马的列表items=range(1,num_house+1)#print(list(permutations(items, len(items))))#使用permutations(items, len(items) 生
2022-05-22 23:15:23 204
原创 人脸识别opencv
opencv与dlib介绍1.1 opencv介绍opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库,可以运行在liunx,windows,android和mac os操作系统上。它轻量级而且高效由一系列c函数和少量c++类构成。同时提供python ,ruby ,matlab等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。opencv目前主要用c++语言开发,它主要接口也是c++语言封装,但是保留了大量的c语言接口,该库有大量的python,java and matl
2022-05-07 14:29:35 2680
原创 geoMesa
在hbase ,accumulo,cassandra,kafka和spark 中大规模存储,索引,查询和转换时空数据。geomesa是一种开源工具套件,可在分布式计算系统上进行大规模地理空间查询和分析,geomesa在accumulo,hbase,google bigtable和cassandra数据库之是提供时空索引,用于大量存储点,线和面数据。geomesa还通过apache kafka之上分层空间语义来提供时空数据的近实时流处理。通过geoserver ,geomesa促进了通过标准ogc(开放地
2022-05-05 17:58:41 1488
原创 什么情况下使用数据仓库
现状和需求大量的企业经营性数据(订单、库存、原料、付款等)在企业的业务运营系统及及后台的(事务型)中产生的。困难:对数据的归类分析往往涉及对多张数据表数据的同时访问,即需要同时锁住多张可能正在被不同事务更新的表单,这对业务繁忙的数据库系统来说可能是一件非常困难的事件。一方面很难把多张表同时锁住、造成复杂查询的时延的增加。另一方面如果锁住多张表,又会阻挡数据表单的更新的事务,造成业务的延时甚至中断。数据仓库主要适用于企业数据的关联和聚合等分析场景,并从中发掘出数据背后的商业情报供决策者参.
2022-05-05 09:44:23 1863
原创 Java基础
1、java环境安装(略)2、涉及的内容:基础程序设计:关键字、数据类型、运算符、流程控制、数组(流程控制、数据、排序算法、数据结构)idea的使用面向对象编程:类/对象 类的结构 三大特征 接口 设计模式应用程序开发jdbc(oracle/mysql) 集合 IO/NIO 类库 多线程 异常处理 反射 网络java的新特征泛型元注解装箱/拆箱枚举可变参数Lambda表达式Stream APIDate/Time API第一部分:编程语言核心
2022-04-30 18:09:43 232
原创 xxx银行日志信息检查业务场景
一、业务背景xxx银行的手机银行将埋点日志实时采集到,传回服务器并存入hbase集群的原始表,现在需要检查原始表日志信息完整性,字段是否缺失,是否有异常数据。结果用于反馈给前端开发,检查日志抓取是否有问题。二、数据类型及数据原始日志包含:打开日志 、查看数据hbase字段,含有13个字段,其一为vehaviour字段,为json,不同日志类型字段数以后在不同。hbase数据量及region数目:含13个必填字段,其一字段为hehavious字段,为字段,不同日志类型数量不同。
2022-04-29 18:00:36 1278
原创 Apache hudi
Apache hudi 第一代流式数据湖平台本次课程分为:Hudi基础入门、Hudi集成进阶篇和Hudi实战案例篇hudi基础入门篇主要讲解hudi框架概述、快速使用hudi及基础概念学习收获:了解什么是数据湖、为什么使用hudi,及hudi的如何管理数据和基本概念理解。hudi应用进阶篇:主要讲解hudi与spark整合与flink整合,数据流式存储分析。学习收获:如何在企业中使用hudi,尤其与spark和flink集成,无论是流式存储还是离线分析计算。hudi实战案例:主要讲解实际案
2022-04-29 16:13:08 384
原创 Flink的状态
<properties> <flink.version>1.14.4</flink.version> <scala.version>2.12.10</scala.version> <scala.binary.version>2.12</scala.binary.version> <spark.version>3.0.0</spark.ver..
2022-04-29 11:24:48 798 3
原创 国内比较能用的maven仓库
https://maven-central-asia.storage-download.googleapis.com/maven2/Index of mavenhttps://packages.confluent.io/maven/
2022-04-29 11:12:25 702
原创 企业架构设计与详细设计
企业面临的挑战:企业:新的流程和产品实施周期太长了……IT成长不断上升,可是成功的IT项目确越来越少IT:业务需求前后不一致,不同业务部提出的需求也不一致内部应用系统没有文档,太复杂了,技术标准不统一、异构系统不断增加业务:内部IT部门没有给我们提供足够的支持(质量、时间、成本)内部IT部门开发的新应用没有达到我的要求(质量、时间、成本)企业架构的定义:EnterPrise:一个企业可以被定义为任何复杂的项目群(Program)、项目(Project)或组织(Or
2022-04-26 15:06:28 942
原创 AI专业学习路径
第一阶段:Ai基础1、AI基础概览(1)ai基础概念(2)全栈Ai战略2、数学基础知识(1) 高等数学(2) 凸优化(3) 线性代数(4) 概率论与数理统计(5) 信息论3、python编程知识(1) Python介绍(2) Python基础(3) Python高级(4) Python实验4、常用框架工具(1) Python科学计算库Numpy(2) Python数据分析处理库Pandas(3) Python可视化库Matplotlib
2022-04-18 14:18:17 3029
原创 大数据生态技术组件
1、离线查询引擎pig :数据流式处理 数据仓库系统,基于hadoop的数据流执行引擎,利用mapreduce并行处理数据,使用pig Latin语言表达数据流。Hive:HiveQL数据仓库系统 是构建在Hadoop之上的数据仓库,用于解决海量结构化的日志数据的统计问题,其语言结构HQL,类似于SQL,但又不完全相同。Spark SQL:PhoenixLucene/Solr/Elasticsearch:数据搜索引擎应用2、实时查询引擎Impalashark: spark的前
2022-04-18 10:41:14 3268
原创 big data-data mining 学习地图
1、数据挖掘介绍1.1 数据挖掘概述1.2 数据挖掘流程1.3 数据、属性和度量1.4 数据挖掘开发工具1.5 数据挖掘学习路径2、预备知识-数学2.1 矩阵和线性代数2.2 概率论和数理统计2.3 信息熵与基尼系数2.4 最优化3、预备知识--python3.1 python语言基础3.2 数据采集与爬虫3.3 数据可视化4、数据预处理4.1 数据抽取、转换和加载4.2 数据清洗4.3 特征处理5、特征选择与降维5.1特征选择
2022-03-27 11:19:47 3017
原创 vr分类及其常见类型
虚拟现实(virtual reality)三种类型1、你看到的一切都是假的虚拟现实(virtual reallity ):利用vr设备模拟产生一个三维的虚拟空间,提供视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,让使用者如同身历其境一般。简而言之,无中生有2、你能分哪些真,哪些假增强现实(Augmented reality):是vr技术的延伸,能够把计算机生成的虚拟信息(物体、图片、视频、声音、系统提示信息等)简而言之,就是锦上添花3、虚拟和现实完美混合,无法区别混合
2022-03-25 11:32:17 3811
原创 togaf 的4A架构
业务--->信息--->应用-->数据-->业务数据应用技术togaf 的4A架构四种架构:业务架构:定义业务战略,治理,组织和关键业务流程数据架构:描述组织的逻辑和物理资产以及数据管理资源的结构。应用架构:为将要部署单个应用程序,它们的交互以及它们与组织的核心流程的关系提供蓝图。技术架构:描述支持业务、数据、和应用程序服务部署所需的逻辑软硬件能力,包括IT基础设施、中间件、网络、通信、处理、标准等。...
2022-02-21 14:29:28 6037
原创 ActiveMq笔记
MQ消息中间件: 1、入门概述: 2、ActiveMq的安装和控制台 3、java编码实现ActiveMQ Elasticsearch: kafka produce --- zk --- client mq的种类: kafka rabittmq rocketmq activemq的技术维度 :落地的细节有不一样。 API发送和接收 mq的高可用性 mq的集群...
2022-02-15 10:11:26 669
原创 giS能力
gis数据gis坐标系gis空间分析gis制图(一)学习体系:1、arcmap基础:arcgis软件体系介绍:arcmap,arccatalog,arcscene,arcglobe功能arcmap介绍:内容窗口,目录窗口,工具,数据视图,布局视图arccatalog介绍:组织管理数据arcscene,arcglobe介绍:三维数据浏览arcgis初次使用注意事项(二)arcgis数据处理1、gis数据基础gis数据基础与数据入库:shapefile文件介绍,地理数据库介..
2022-01-06 17:11:46 783
原创 Java开发面试题
执行以下程序的输出结果是:public class outputinfo { public static void main(String[] args) { StringBuffer a = new StringBuffer("A"); StringBuffer b = new StringBuffer("B"); operator(a,b); System.out.println(a+" "+b); } .
2021-12-01 13:30:49 383
原创 Netty实战
在探究hbase的功能之前,为什么要设计出这样一套新的存储架构。关系数据库系统的问题:hbase是一个分布式的,持久的、强一致性的存储系统,具有近似最优的写性能(能使用I/o利用率达到饱和)和出色的读性能,它充分利用了磁盘空间,支持特定列族切换可选压缩算法。...
2021-11-15 11:11:18 365
区块链重塑电信行业
2018-02-24
智能合约的理念
2018-01-15
智投链 (IIC) 白皮书
2018-01-15
中国区块链技术和应用发展白皮书
2018-01-15
(中文)Trinity Pitch Deck
2018-01-15
区块链白皮书
2018-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人