temp
文章平均质量分 72
四月天03
能用钱解决的问题,千万别花时间
展开
-
CDH/HDP迁移星环大数据产品TDH
通过8种独立的存储引擎,支持业界主流的10种存储模型:关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作,适配长城飞腾、华为泰山、浪潮等服务器,鲲鹏、飞腾CPU,麒麟、统信等OS,并有官方认证,支持基于ARM与X86服务器服务器混合部署并有落地案例,满足信创验收要求。TDH的多模架构,支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型;整个易用性、开发效率和运行效率都提高很多。原创 2023-06-02 15:45:57 · 1426 阅读 · 0 评论 -
分布式爬虫系统设计、实现与实战:爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储
https://blog.51cto.com/xpleaf/2093952原创 2019-03-06 10:18:07 · 457 阅读 · 0 评论 -
待完善 Elasticsearch 在大数据的应用:Spring Boot + Elasticsearch:高效管理大数据的利器
ES作为一个功能丰富、性能优越的大数据搜索引擎,已经被越来越多的企业广泛应用。本文介绍了ES的核心组件、数据结构和数据类型、查询和聚合操作等知识点,以及ES的实践操作,并通过Java代码示例进行讲解。希望本文能够帮助开发者更好地了解和应用ES,进一步推动ES的发展和应用。原创 2019-02-27 15:28:09 · 683 阅读 · 1 评论 -
待完善 快速排序、二分查找、
快速排序5,7,2,4,6,1,11,3,9基准数后面的数需要大于基准数,从后向前寻找a[j]< tmp,寻找到a[8]的3<5,将a[8]放入空位a[0]中,a[j]=a[8]此时空出位置接着从前向后遍历a[i] > 5,找到a[1]符合条件,将a[1]放入空位a[8],a[1]空出继续从后向前寻找继续从后向前寻找遍历至i == j 结束...原创 2019-02-28 12:22:43 · 201 阅读 · 1 评论 -
待完善 SSM-- Spring整合Mybatis
web.xml的加载过程是context-param >> listener >>fileter >> servlet<?xml version="1.0" encoding="UTF-8"?><web-app xmlns……> <display-name>ssm-manager</display...原创 2019-03-26 15:46:45 · 178 阅读 · 0 评论 -
tmp 待完善 多线程、线程池、队列
1、new Thread的弊端执行一个异步任务你还只是如下new Thread吗?new Thread(new Runnable() { @Overridepublic void run() {// TODO Auto-generated method stub}}).start();a. 每次new Thread新建对象性能差。那你就out太多了,new Th...原创 2019-02-28 15:17:54 · 283 阅读 · 0 评论 -
Flink CDC + Hudi 海量数据入湖 重写
Flink 启动之后,首先读取当前的 Binlog 信息,标记为 StartOffset ,通过 select 方式将全量数据采集上来,发往下游 Kafka。全量采集完毕之后,再从 startOffset 采集增量的日志信息,发往 Kafka。最终 Kafka 的数据由 Spark 消费后写往 Hudi。但是此架构存在以下三个问题:全量与增量数据存在重复:因为采集过程中不会进行锁表,如果在全量采集过程中有数据变更,并且采集到了这些数据,那么这些数据会与 Binlog 中的数据存在重复;需要下游进行 Upse原创 2022-05-14 21:02:00 · 1216 阅读 · 0 评论 -
文档系统:HDFS+Elasticsearch
在将文档索引到Elasticsearch之前,您需要为索引定义一个映射(mapping),并在映射中指定分词器。分词器决定了如何将文本字段分解成单个的词条(terms)。例如,如果您使用的是Elasticsearch的默认分词器(standard analyzer),它适用于大多数语言,并且会按照空格和标点符号来分解文本。但如果您需要处理特定语言(如中文),您可能需要使用更适合的分词器,如IK分词器。},// 其他字段定义...在这个例子中,我们定义了一个名为的分词器,它是IK分词器的一个变体(原创 2019-02-28 14:40:39 · 272 阅读 · 1 评论 -
WORD批量修改文献引用为上标
1、点击word开始页面的替换选项卡,或Ctrl+H键,打开替换页面。1、点击word开始页面的替换选项卡,或Ctrl+H键,打开替换页面。1、点击word开始页面的替换选项卡,或Ctrl+H键,打开替换页面。点击替换栏,再点击格式,选择字体,勾选上标。点击替换栏,再点击格式,选择字体,勾选上标。点击替换栏,再点击格式,选择字体,勾选上标。点击更多,选择使用通配符。点击更多,选择使用通配符。点击更多,选择使用通配符。原创 2020-03-03 15:11:55 · 880 阅读 · 1 评论 -
股权结构设计七步法
因为投资方的要求或者对于控制权的长期稳定性诉求,我们会发现,作为企业的大股东往往放弃优先分红权、优先转让权等权利,但是一个企业的发展是一个长期艰巨的过程,我们势必要考虑在适当的时候考虑创始人的财务诉求,所以这里建议大家在股权激励股权池之后设立一个不超过5%的小金库,作为核心创始人股权变现的渠道。我们都知道一个企业的发展离不开各个股东的通力合作和全力以赴,但是市场是残酷和客观的,这些还是远远不够的,企业需要不断吸引更为优秀的人加入到公司,除了工资以外能够吸引优秀的人加入的是长期收益的绑定。原创 2021-06-29 16:29:08 · 1597 阅读 · 0 评论 -
企业内外网数据同步解决方案
企业内部,一般对U盘/移动硬盘的使用有所限制,所以一般是指定少数有权限的人,经常是IT部门,负责通过移动硬盘在内外间,按照业务部门的要求,进行数据拷贝。采用创新的数字包裹概念,可以将待处理和交换的一个批次的业务文件封装进一个安全数字包裹,并且生成一个包含包裹内容信息(发货清单)和投递信息(快递单)的包裹元数据,可以确保一个批次业务数据的完整性和正确性,同时可以防止后续的篡改行为。不过,这些传统跨网络的数据移动方式,很难满足企业对于内外网文件交换的安全、高效、便捷、管理等方面的需求。,没有办法取得内网文件。原创 2022-11-12 19:07:50 · 4490 阅读 · 0 评论 -
HostMonitor监控软件
Host Monitor是KS-SOFT公司出品的一套安装在Windows上的网络监测工具,据官方网站的介绍,Host Monitor提供了56套测试工具和27种报警动作,能够定时监控目标主机Windows Server和各个版本的Linux上任何TCP服务、UDP、网络连通状态(Ping)、路由(Route)、DNS、FTP、SMTP、POP3、端口(Port)、URL以及Web Service、SQL Server、数据库表空间大小、硬盘空间、文件及文件夹大小、网络流量等指标,支持远程监控。原创 2022-10-19 15:23:20 · 2748 阅读 · 0 评论 -
两表对比脚本CheckData
#! /bin/bash# sh /data/disk1/workspace/group_sjzt/bigdata_zdev/cxp/check/CheckData_test.sh CK_ZDEV.CLAIM_CALCULATE_DETAIL_nocar CK_ZDEV.CLAIM_CALCULATE_DETAIL -k calculate_detail_no calculate_id -d Etl_Upd_Dttm $current_date &Usage(){ echo "脚本名称: $sh_原创 2022-08-12 21:14:50 · 310 阅读 · 0 评论 -
能用钱解决的问题,千万别花时间.。‘能升级硬件解决的问题,千万别优化程序‘。
坊间有句玩笑,即'能用钱解决的问题,千万别花时间'。而业界也有种调侃如出一辙,即'能升级硬件解决的问题,千万别优化程序'。有时候,你千辛万苦优化程序逻辑带来的性能提升,还不如直接升级硬件来得简单直接。把“谢谢”改成”谢谢你”; “随便”改成“听你的”; “我不会”改成“我可以学”; “听明白了吗?”改成“我说明白了吗”. 请把你的沟通让人感受到你尊重的温柔! 老师:会抽烟吗?学生:我可以学......原创 2021-08-26 16:24:07 · 216 阅读 · 0 评论 -
信息安全--关键系统渗透测试
• Information Security is the collective set of policies, standards, Technology and procedures that limits or controlsaccess to, and use of, information to only those that are authorized 信息安全由一套政策、标准和技术组成;限制信息只被授权者使用• It is the protection of all informat原创 2019-07-29 11:18:53 · 823 阅读 · 0 评论 -
页面无法复制问题
按键盘F12进入,选择console页签;6、复制下面代码,按回车键,点确定;javascript:(function(){eval(function(p,a,c,k,e,r){e=function(c){return(c<a?'':e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)r[e(c)]=k[c]||e(原创 2022-05-14 21:30:20 · 1676 阅读 · 0 评论