- 博客(580)
- 资源 (63)
- 收藏
- 关注
RSS订阅原创 Presto: 是谁偷走了我的一天
最近在数据迁移的过程中遇到一个好玩的 当我们要计算两个日期的间隔的是时候需要调用一些数据分析组件内置的函数, 如下所示: 代码表示的含义很简单 就是计算8月9日和8月8日之间相隔天数, 但是这样的计算的结果竟然不相同: 竟然出现同样的时间段里比多一天这种情况. 即在分析中得到是相隔一天, 但是在分析中得到数据只有0天 .(组件版本号: )探究遇事不決 量子力学; 问题是小问题, 但是假如运用到生活的例子是你发工资的时候计算的时长, 这不就少计算一天. 为了打工人, 一定要找到是谁
2022-08-06 14:02:22
2496
4
原创 剑指 Offer 25. 合并两个排序的链表
/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */class Solution { public ListNode mergeTwoLists(ListNode l1, ListNode l2) { //设置两个指针，分别指向l1和.
2022-07-24 14:35:27
474
原创 大数据面试题——spark
讲一下spark 的运行架构????Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器???? Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。???? Driver： 运行Application 的main()函数???? Executor：执行器，是为某个Application运行在worker node上的一个进程一个spark程序的执行流程
2022-06-30 14:38:46
1941
5
原创 大数据学习规划
阶段时间技能输入输出SQL基础8.4-8.81.表关联方法和特性2.常用基础函数3.窗口函数4.常用优化策略5.hive数据存储格式及压缩格式和特点1、hive编程指南2、SQL 必知必会1、学习笔记2、考试ODEON平台使用8.4-8.81.sql测试方法2.workflow维护，报错如何查看3.workflow如何部署4.coordinate如何部署5.如何用金蝉平台运维odeon6.理解每一步的作用和用意1、odeon帮助文档2、wiki资料H-odeon....
2022-06-21 10:09:13
946
原创 关于hive中Map join 时大表left join小表的问题
关于hive中Map join 时大表left join小表的问题在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。在MySQL中，left join加载从左向右，即join左边的表会先加载进内存，与右边表进行join。mapjoin时要让小表进内存，大表进内存的话可能会因为过大的原因，导致mapjoin无法实现，从而转为redu
2022-06-03 13:35:19
3501
3
原创 剑指 Offer 40. 最小的k个数
剑指 Offer 40. 最小的k个数输入整数数组 arr ，找出其中最小的 k 个数。例如，输入4、5、1、6、2、7、3、8这8个数字，则最小的4个数字是1、2、3、4。输入：arr = [3,2,1], k = 2输出：[1,2] 或者 [2,1]输入：arr = [0,1,2,1], k = 1输出：[0]class Solution { public int[] getLeastNumbers(int[] arr, int k) { /*
2022-06-03 13:29:15
510
2
原创 JZ7 斐波那契数列
public class Solution { public int Fibonacci(int n) { if(n<0) return -1; if(n==0) return 0; if(n==1) return 1; int a =0; int b=1; int res=1; for(int i=1;i<n;i++){ res...
2022-05-24 09:11:47
516
原创 JZ6 旋转数组的最小数字
题目描述把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转，输出旋转数组的最小元素。NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。示例1输入复制[3,4,5,1,2]返回值复制1import java.util.ArrayList;public class Solution { public int minNumberInRotateArray(int [] array) { if(array.l
2022-05-24 09:11:11
517
原创 「WAVE SUMMIT 2022深度学习开发者峰会」火热来袭
「WAVE SUMMIT 2022深度学习开发者峰会」火热来袭！会上您将了解以飞桨为代表的深度学习领域的最新技术突破！看最新的AI技术如何助力我国产业发展，先人一步了解技术风向。5月20日 13:00期待与您相聚云端报名即送好礼，快来参与吧！https://marketing.csdn.net/p/b55f955e5c8fb83ebcb12a2c70e256c7?utm_source=sqzy08...
2022-05-10 15:32:41
760
原创 深入理解Mysql索引底层数据结构与算法
文章目录索引的数据结构二叉树红黑树Hash表B-TreeB+Tree表的索引类型MyISAMInnoDB索引的数据结构索引是帮助MySQL高效获取数据的排好序的数据结构常见的索引数据结构二叉树红黑树Hash表B-TreeB+Tree二叉树红黑树Hash表对索引的key进行一次hash计算就可以定位出数据存储的位置很多时候Hash索引要比B+ 树索引更高效仅能满足 “=”，“IN”，不支持范围查询hash冲突问题B-Tree叶节点具有相同的深度，叶节点的
2022-05-01 12:13:28
893
1
原创 开箱——Amazon Lightsail（远程云桌面）
文章目录10分钟设置免费海外远程桌面0. 什么是Lightsail1. 启动实例2. 配置桌面3. 启动桌面4. 使用云桌面个人感受1. 特点2. 区别3. 改变4. 总结10分钟设置免费海外远程桌面0. 什么是LightsailAmazon Lightsail提供易于使用的云资源，只需几次点击即可启动并运行您的 Web应用程序或网站。Lightsail提供简化的服务，例如实例、容器、数据库、存储等。借助 Lightsail，您可以使用 WordPress、Prestashop 或 LAMP等预..
2022-04-27 10:22:18
10801
13
原创 JZ52 两个链表的第一个公共结点
/*public class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}*/public class Solution { public ListNode FindFirstCommonNode(ListNode pHead1, ListNode pHead2) { if (pHead1 ==
2022-03-30 22:02:23
729
1
转载 elasticsearch面试必考（亲身经历的问题）
面试题es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？面试官心理分析问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，那你真的是…对 es 基本就是个黑盒，你还能干啥？你唯一能干的就是用 es 的 api 读写数据了。要是出点什么问题，你啥都不知道，那还能指望你什么呢？面试题剖析es 写数据过程客户端选择一
2022-02-17 20:51:17
675
2
原创 小试vue
使用淘宝 NPM 镜像。npm install -g cnpm --registry=https://registry.npm.taobao.orgnpm –vC:\Users\hiszm>npm -v6.10.3安装webpack和脚手架npm install webpack –gnpm install -g @vue/cli@4.5.15vue -vC:\Users\hiszm>vue -V@vue/cli 4.5.15然后从网上随便找一个vu.
2022-02-10 19:03:49
1097
原创 报错问题Field userMapper in com.ddd.service.impl.HBaseUserImpl required a bean of type com.ddd.mapper.
***************************APPLICATION FAILED TO START***************************Description:Field userMapper in com.ddd.service.impl.HBaseUserImpl required a bean of type 'com.ddd.mapper.hbase.UserMapper' that could not be found.The injection poin
2022-02-09 21:36:52
2958
原创 MapReduce环形缓冲区底层实现
环形缓冲区底层实现首先明白改过程发生在Map——Collect阶段：在用户编写的map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分片（通过调用Partitioner），并写入一个环形内存缓冲区中。MapOutputBuffer内部使用了一个缓冲区暂时存储用户输出数据，当缓冲区使用率达到一定阈值后，再将缓冲区中的数据写到磁盘上。数据缓冲区的设计方式直接影响到Map Task的写效率，而现有多种数据
2022-01-31 18:49:02
3243
原创 大数据生态
1、消息队列:大数据推荐学习Kafka2、数据处理:Spark、Flink（二者可以选其一重点研究)3、数据存储: HBase、HDFS、MYSQL、Redis（都很重要，至少选择2个深入研究)4、数据分析: Hive（数仓)5、资源管理:YARN、Mesos（二选一）6、分布式:Zookeeper（必须好好学，面试必问的)...
2022-01-31 14:40:15
1852
原创 无影云电脑Linux如何修改密码
无影云电脑Linux如何修改密码#!/bin/bash echo "用户名 ALL=(ALL) NOPASSWD:ALL #SET_BY_EDS" >> /etc/sudoers 用户名由终端用户提供。终端用户登录云桌面后执行whoami
2022-01-31 14:21:47
2641
原创 面试技巧（仅供参考）
好的面试也是这样，你必须经过充分的准备和练习，才能使自己在面试中大放异彩。1.开始面试时即进入一种轻松的注意力集中状态。 这种状态是杰出的网球运动员、篮球运动员或花样滑冰运动员在开始比赛时所具有的。你可以在开始面试前通过沉思和冥想来去除心中的杂念，把注意力集中在当前的面试上，从而使你不至陷入紧张、自责和自我怀疑的状态。2.要表现自然。 这种自然来自于你面试前的充分准备。要表现出真实的自我，表现出自己的专业性，与面试者诚实地对话。面试前，应与你的家人或朋友做几次模拟面试，就像期末考试前设想可能出现
2022-01-27 18:41:13
641
原创 SQL编程题练习题（基础）
SQL1 查询多列题目：现在运营同学想要用户的设备id对应的年龄、性别和学校的数据，请你取出相应数据select device_id, gender,age,university from user_profileSQL2 查询所有列题目：现在运营想要查看用户信息表中所有的数据，请你取出相应结果select * from user_profileSQL3 查询结果去重题目：现在运营需要查看用户来自于哪些学校，请从用户信息表中取出学校的去重数据。select distinct u
2022-01-25 09:33:45
3875
4
原创 华为云——为美好，做更好
今天跟一个汽车的公司的老板聊天，聊到这几年汽车制造业的变化，发现如今的汽车行业跟当年相比真是天壤之别。以前，以前汽车只要装个轮子再装个发动机就能跑。然后就开始堆料，看谁的材料用的好，用的高级；现在，小老板们聊天内容都是跟数字化有关的，哪个平台好用，哪家服务商的态度好，哪个厂家有更多资源能拉到单子或者学到经验技术。在云服务这一块，圈里风评最好的还是华为云，一方面是服务到位，选择云产品，除了价格实在、性能出众以外，优质的服务也是必不可少的。华为云的服务在业界一直备受认可，其7*24小时多渠道客服跟进服务，.
2022-01-21 14:42:46
786
原创 3分钟搞懂中台
文章目录什么是数据中台？背景作用定义中台类型有哪些？业务数据双中台技术中台研发中台移动中台管理中台组织中台企业为什么要建中台？需求变了匹配失衡鱼和熊掌成功的中台推荐阿里数据中台网易业务中台百度AI 中台……最后什么是数据中台？背景2015年全年产生的数据量等于历史上所有人类产生数据的总和，人类的数据增长正式从乘法型增长变成了指数型增长，海量数据处理成为了全人类的挑战。阿里提出了DT时代已经到来：DataTech替代ITTech，强调数据驱动的重要性。阿里走在了前面，阿里用几百人的团队支撑了几万亿
2022-01-19 13:50:01
4725
13
原创 立过的Flag——成为博客专家
https://blog.csdn.net/jankin6/article/details/114628532留个帖子记录我的博客专家之路https://blog.csdn.net/experts/rule2020-12-22很遗憾，你的「博客专家」申请未能通过。2020-12-22尊敬的 CSDN 用户，很遗憾你的「博客专家」申请未通过：博文整体较为系统完善，但仍偏基础理论层面，建议多丰富些工作学习中的一线实战经验分享，供开发者学习借鉴。请继续加油！。请继续加油，技术之路，我们共同成长！20
2022-01-18 09:56:07
893
10
转载 mysql 行转列+列传行
mysql 行转列和列转行1. 行转列——（ case+group by）mysql> CREATE TABLE `TEST_TB_GRADE` ( -> `ID` int(10) NOT NULL AUTO_INCREMENT, -> `USER_NAME` varchar(20) DEFAULT NULL, -> `COURSE` varchar(20) DEFAULT NULL, -> `SCORE` float DEFAULT
2022-01-11 19:08:05
1062
1
原创 大数据面试题——zookeeper
文章目录zookeeper是什么,有什么功能讲一下leader 选举过程zk 有几种部署模式zookeeper采用的哪种分布式一致性协议? 还有哪些分布式一致性协议zookeeper watch机制说一下zk的通知机制zk是怎样保证主从节点的状态同步——ZAB分布式协议ZAB过程ZAB协议原理----------------------------------Leader选举算法分析zookeeper是什么,有什么功能用途分布式锁服务注册和发现????利用Znode和Watcher，可以实
2022-01-08 21:32:45
1503
1
原创 大数据面试题——hadoop（hdfs、mapreduce、yarn）
文章目录Hadoop请说下 HDFS 的组织架构请说下 HDFS 读写流程HDFS 写流程HDFS 读流程NameNode 在启动的时候会做哪些操作Hadoop的HA的了解（High Availability高可用，HA）AvatarNode方案QJM架构在 NameNode HA 中，会出现脑裂问题吗？怎么解决脑裂10. 请说下 MapReduce组织架构MapReduce过程mapreduce12. 请说下 MR 中 shuffle 阶段13. shuffle 阶段的数据压缩机制了解吗14. 在写 MR
2022-01-08 10:58:40
1587
1
原创 大数据面试题——数据仓库
文章目录数据仓库什么是数据仓库？数据库与数据仓库的区别？事实表和维度表数据仓库的数据模型：为什么数据仓库要分层？数据仓库模式：Kimball （金箔）和 Inmon（恩门）数据库架构——Lambda架构和Kappa架构数据仓库五步法的流程ETL、ELT数据仓库什么是数据仓库？数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。用于数据存储，数据分析和数据决策的系统。 【重点是分析数据，为了企业提供决策支持 Decision Support】数据仓库描述是⼀个⾯向主题的、集成的、随
2022-01-07 21:48:11
1623
原创 大数据面试题——数据库
文章目录@[toc]MySQL常用的存储引擎有什么区别？为什么要用索引？索引算法有哪些？Hash索引和B+树的区别？B树和B+树的区别？数据库为什么使用B+树而不是B树？索引的种类有哪些？创建索引的原则有哪些？什么是最左匹配原则？什么是聚簇索引，什么是非聚簇索引？数据库的三大范式是什么？索引在什么情况下会失效？什么是数据库的事务？事务的四大特性(ACID)是什么？数据库的并发一致性问题数据库的隔离级别有哪些？什么是MVCC？MySQL中都有哪些触发器？SQL语句主要分为哪几类超键、候选键、主键、外键分别是什
2022-01-07 20:22:20
1131
原创 大数据面试题——hive
hive1. hive 内部表和外部表的区别未被 external 修饰的是内部表（managed table），被 external 修饰的为外部表（external table）区别：内部表数据由 Hive 自身管理，外部表数据由 HDFS 管理；内部表数据存储的位置是 hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有 LOCATION，Hive 将在 HDFS 上的 / user/hive/
2022-01-07 20:17:20
831
原创 大数据面试题
一面 1h1.自我介绍2.自我介绍项目的一些问题3.问：多线程熟悉么？答：多线程了解，但没在项目中使用过问：那说一下线程的状态线程那种状态切换会释放cpu？string是不可变的，那不可变的好处是什么呢？6.说说stringBuffer和stringBuilder7.说一下CMS垃圾回收器。。。java相关的应该还有一些问题，这里记不太清了，接下来是大数据相关的问题0.你是怎么学习大数据的？你都看过那些书？1.你对大数据那个方面或者框架最熟悉？2.说一下yarn的整个
2022-01-07 19:35:20
809
原创 PHP毕业设计——许愿墙升级版（有源码）
文章目录说明成品展示首页许愿+密码保护分页安装一键搭建环境解压放置目录www新建数据库导入数据文件运行源码获取说明下图是运行后的截图；订购此付费专栏，文章末尾可以免费获得源代码；如果不想订购的话，可以从这里单次下载成品展示首页许愿+密码保护分页安装一键搭建环境解压放置目录www新建数据库命名为php_wish导入数据文件字符集这里要设置utf-8运行浏览器输入http://localhost/wish/源码获取扫描下面的二维码回复数字9215
2022-01-05 21:06:12
3541
7
原创 2021年「博客之星」参赛博主：孙中明
[ 这是 2021 博客之星 的竞选帖子， 请你在这里增加其他内容。 包括但不限于：你这一年的收获，感悟， 对 CSDN 产品的反馈和 2022 年的希望。 参考： https://blog.csdn.net/SoftwareTeacher/article/details/121973415 ]我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。...
2021-12-28 14:45:06
740
22
原创 自己拥有一台服务器可以做哪些很酷的事情？
自己拥有一台服务器可以做哪些很酷的事情？为什么选择云服务器如何选择云服务器可以做哪些很酷的事情**个人博客****个人网盘****云桌面*..
2021-12-27 13:52:19
8329
47
原创 运行时数据区中包含哪些区域？哪些线程共享？哪些线程独享？
运行时数据区中包含哪些区域？哪些线程共享？哪些线程独享？【⭐⭐⭐⭐⭐】Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。JDK 1.8 和之前的版本略有不同，下面会介绍到。区别就是 1.8有一个元数据区替代方法区了。那么，Java 8 中 PermGen 为什么被移出 HotSpot JVM 了？我总结了两个主要原因（详见：JEP 122: Remove the Permanent Generation）：由于 PermGen 内存经常会溢出，引
2021-12-24 10:29:14
1732
18
原创 分享几个搜索电子书网站
文章目录推荐几个电子书的网站1.Z-Library——世界上最大的电子书图书馆2.鸠摩搜索 ——电子书搜索3.苦瓜网盘——为Pad、kindle准备4.lorefree——去中心化平台、用户共同分享资源5.淘链客——收集文档类资源6.PdfDrive——提供英文原版电子书pdf7.全国图书馆参考咨询联盟——一个字全8.manybooks——支持下载、阅读、评论9.古登堡计划——历史很久、超过6万本免费电子书的图书馆补充：alltoall——文档格式转换推荐几个电子书的网站授人以鱼不如授人以渔1.Z
2021-12-12 14:37:01
10169
30
原创 PHP毕业设计——仿百度知道（问答系统）有源码
文章目录问答页面后台界面获取代码问答页面未解决问题已经解决所有问答相关回答提问回答回答完毕后台界面用户的列表问题管理所有的问题待解决问题已解决问题无回答问题回答管理所有的回答未采纳回答已采纳回答问题分类问题分类列表添加顶级分类奖励管理金币奖励规则经验级别规则系统管理系统信息修改密码网站配置后台用户管理用户列表添加
2021-12-07 11:43:52
998
17
原创 PHP毕业设计——艺术品展示网站
这是我当时我在某课上购买的课程——PHP艺术品展示网站，然后跟着后面边学边做得项目案例，本科同学可以用来用做毕业设计。相关得源代码包括数据库文件我已经放到文末尾得GitHub链接已经给出了。文章目录首页详情页管理员页面发布作品项目结构获取源码首页详情页管理员页面发布作品项目结构C:.│ admin.php│ admin_index.php│ admin_user_list.php│ delete.php│ detail.php│ do_edit.php│
2021-12-01 08:41:40
3194
33
原创 十分钟看懂docker
文章目录一、docker是什么？wiki介绍组成部分二、为什么会出现docker?Docker与虚拟机的对比它的优点它的缺点三、实现原理是什么？docker 常用命令是什么？docker安装docker-compose安装国内镜像配置一、docker是什么？wiki介绍Docker 是一个开放源代码软件，是一个开放平台，用于开发应用、交付（shipping）应用、运行应用。 Docker允许用户将基础设施（Infrastructure）中的应用单独分割出来，形成更小的颗粒（容器），从而提高交付软.
2021-11-28 14:40:28
3632
29
原创 剑指 Offer 13. 机器人的运动范围
题目地上有一个m行n列的方格，从坐标 [0,0] 到坐标 [m-1,n-1] 。一个机器人从坐标 [0, 0] 的格子开始移动，它每次可以向左、右、上、下移动一格（不能移动到方格外），也不能进入行坐标和列坐标的数位之和大于k的格子。例如，当k为18时，机器人能够进入方格 [35, 37] ，因为3+5+3+7=18。但它不能进入方格 [35, 38]，因为3+5+3+8=19。请问该机器人能够到达多少个格子？示例 1：输入：m = 2, n = 3, k = 1输出：3示例 2：输入：m =
2021-11-24 10:32:40
639
15
Git-2.30.2-32-bit.exe.zip（免积分）
2021-03-11
毕业设计，问答系统，百度知道，有代码，有数据库，有演示。（免积分）
2021-03-11
gallery.7z
2021-01-29
Git-2.29.2.3-64-bit.exe (免积分)
2020-12-27
大数据环境软件安装包
2020-07-28
火狐国际版(量子)Firefox Setup 58.0.1
2018-02-05
Python数据分析与挖掘实战(PDF+源代码).zip
2018-02-05
机器学习实战(中文版+英文版+源代码)
2018-01-31
机器学习实战.pdf
2018-01-23
常用数据挖掘算法总结及Python实现.pdf
2018-01-23
自然语言处理数据集（初中和高中数学）
2022-03-22
PHP毕业设计——许愿墙升级版（有源码）
2022-01-05
putty-64bit-0.75-installer、nacos-server-1.2.1、WinSCP-5.19-Setup、phpStudy_64
2021-07-26
408-2018-2009真题 打印无水印
2021-06-03
《巨人的陨落》人物表.pdf
2021-06-03
word1575破解助记左右神表何凯文刘一男(终稿).docx
2021-06-03
book118Downloader.zip
2021-06-03
Downloads.7z
2021-05-24
pdf2htmlEX-win32-0.14.6-upx-with-poppler-data (2).zip
2021-03-30
GitHubDesktopSetup.exe
2021-03-29
Xshell-7.0.0056p.exe.zip(免积分)
2021-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人