- 博客(340)
- 收藏
- 关注
RSS订阅原创 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(1)
1.设置hadoop在windows上的环境(这里我安装的是hadoop-2.7.1)2.配置相对应的pom.xml文件。
2024-05-16 12:24:53
353
原创 虚拟机上进行Hadoop伪分布式部署并进行大数据处理_基于virtualbox虚拟机部署伪分布式hadoop环境
(Press y|Y for Yes, any other key for No) 填n。//读取csv非空的行总数。insert into room(province,rooms) values(“四川”,“20”);
2024-05-16 12:24:20
448
原创 虚拟机上进行Hadoop伪分布式部署并进行大数据处理_基于virtualbox虚拟机部署伪分布式hadoop环境(2)
后面的"hdfs://localhost:9000/data.csv"是刚才上传的data.csv在hadoop上的路径，后面的1是给给这个rdd分配1个块，一个块128M，相当于给RDD一个住的地方，不然无家可归就找不到它了，也可以多分几个块，相当于住在了连栋别墅。3：在Main类里面写下下面代码，目的是向mysql表插入"sichuan",“20”，注意String driver可能不一样，mysql5.x与mysql8.x不一样，我的是8.x的，所以有cj。（虚拟机太卡就看引言部分，文章最上面）
2024-05-16 12:23:47
413
原创 虚拟机上进行Hadoop伪分布式部署并进行大数据处理_基于virtualbox虚拟机部署伪分布式hadoop环境(1)
后面的"hdfs://localhost:9000/data.csv"是刚才上传的data.csv在hadoop上的路径，后面的1是给给这个rdd分配1个块，一个块128M，相当于给RDD一个住的地方，不然无家可归就找不到它了，也可以多分几个块，相当于住在了连栋别墅。3：在Main类里面写下下面代码，目的是向mysql表插入"sichuan",“20”，注意String driver可能不一样，mysql5.x与mysql8.x不一样，我的是8.x的，所以有cj。（虚拟机太卡就看引言部分，文章最上面）
2024-05-16 12:23:13
322
原创 最新大数据技术与应用，2024年最新BTAJ面试有关散列（哈希）表的面试题详解
一个用于分布式大数据处理的开源框架，由Apache基金会所开发的分布式系统基础框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。同常是指一个更广泛的概念-Hadoop生态圈。
2024-05-16 08:42:26
384
原创 最新大数据开发项目-电信项目2-传输数据，八年大数据开发开发心路历程
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取org.apache.maven.pluginsmaven-surefire-plugin2.12.4true3.2.1hadoop/etc/hadoop/core-site.xmlhadoop/etc/hadoop/
2024-05-16 08:41:54
810
原创 最新大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day24】—，2024年最新鸿蒙教程来袭
今天我们复习了面试中常考的Spark相关的五个问题，你做到心中有数了么？其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在面试期间尴尬！平时不流汗,面试多流泪!对了，如果你的朋友也在准备面试，请将这个系列扔给他，打卡。给同学们以激励。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-16 08:41:20
419
原创 最新大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day09】—，2024年最新头条大数据开发面试题
•现象：在某个时间段内，大量的读写请求全部集中在某个Region中，导致这台RegionServer的负载比较高，其他的Region和RegionServer比较空闲•问题：这台RegionServer故障的概率就会增加，整体性能降低，效率比较差•原因：本质上的原因，数据分配不均衡•情况–一张表只有一个Region–一张表有多个Region，但是Rowkey是连续产生的今天我们复习了面试中常考的Hbase相关的五个问题，你做到心中有数了么？
2024-05-16 08:40:47
230
原创 整理网站页面CV的《长恨歌》文本，python字符串基础知识实战。_python统计长恨歌中长和君王
长恨歌》文本整理网站页面CV的字符串(python字符串基础知识实战)这是一段由聊天引出的代码应用——由聊天中的一段引文，让我搜索学习了缠绵凄美的《长恨歌》，动了CV其文本的心思。可从页面CV到文本，却成了下面截图的样子😭😭一字一行，期间还间杂一些注释索引的数字。手动整理？这文本可不短！还是让让代码出手吧——不就是一个字符串基础的应用嘛。“数据特征分析，利用特征选用适宜方法代码，整理数据，得想要的结果。”去除回车符和数字字符，按每句诗一行打印就好。上码——代码。
2024-05-16 00:53:38
965
原创 数据结构的六大排序算法详解_排序前 6 8 7 9 0 1 3 2 4 5 第1次划分 5 4 2 3 0 1 6 9 7 8
前面学习插入排序的时候，我们会发现一个很不友好的事儿，如果已排序的分组元素为{2,5,7,9,10}，未排序的分组元素为{1,8}，那么下一个待插入元素为1，我们需要拿着1从后往前，依次和10,9,7,5,2进行交换位置，才能完成真正的插入，每次交换只能和相邻的元素交换位置。排序前:{6, 1, 2, 7, 9, 3, 4, 5, 8}排序后:{1, 2, 3, 4, 5, 6, 7, 8, 9}排序前：{9,1,2,5,7,4,8,6,3,5}排序后：{1,2,3,4,5,5,6,7,8,9}
2024-05-16 00:53:05
638
原创 数据结构的六大排序算法详解_排序前 6 8 7 9 0 1 3 2 4 5 第1次划分 5 4 2 3 0 1 6 9 7 8(2)
时间复杂度为。
2024-05-16 00:52:32
1004
原创 数据结构的六大排序算法详解_排序前 6 8 7 9 0 1 3 2 4 5 第1次划分 5 4 2 3 0 1 6 9 7 8(1)
时间复杂度为。
2024-05-16 00:51:59
827
原创 数据库分析与设计练习题（一）基础知识、数据库应用系统的数据处理需求可以表示为事务规范。下列描述中不属于事务规范的是
尽管关系数据库模式是按照关系数据库管理系统支持的结构进行数据的描述和组织的，然而，这些符号表示并不能解释如何处理和存储数据。数据库物理设计的目的是将数据的逻辑描述转换为实现技术规范，其目标是设计数据存储方案，以便提供足够好的性能并确保数据库数据的完整性、安全性和可恢复性。6.在进行事务设计时，如果把多个小事务合并成一个大事务来执行，则下列关于这种做法所带来影响的叙述，正确的是。解析：多个小事务合并成大事务，会增加占有锁的时间，可能会造成大量阻塞事务，甚至会产生死锁。11.数据流图必须是正确的、一致的。
2024-05-15 23:53:58
537
原创 数据库分析与设计练习题（一）基础知识、数据库应用系统的数据处理需求可以表示为事务规范。下列描述中不属于事务规范的是(2)
尽管关系数据库模式是按照关系数据库管理系统支持的结构进行数据的描述和组织的，然而，这些符号表示并不能解释如何处理和存储数据。数据库物理设计的目的是将数据的逻辑描述转换为实现技术规范，其目标是设计数据存储方案，以便提供足够好的性能并确保数据库数据的完整性、安全性和可恢复性。解析：数据库应用系统的实施工作包括创建数据库、装载数据、编写与调试应用程序、数据库试运行。解析：数据持久层负责保存和管理应用数据系统数据，而数据的完整性维护属于数据持久层功能中的数据管理的内容。11.数据流图必须是正确的、一致的。
2024-05-15 23:53:25
511
原创 数据库分析与设计练习题（一）基础知识、数据库应用系统的数据处理需求可以表示为事务规范。下列描述中不属于事务规范的是(1)
解析：数据库应用系统的实施工作包括创建数据库、装载数据、编写与调试应用程序、数据库试运行。解析：数据持久层负责保存和管理应用数据系统数据，而数据的完整性维护属于数据持久层功能中的数据管理的内容。6.在进行事务设计时，如果把多个小事务合并成一个大事务来执行，则下列关于这种做法所带来影响的叙述，正确的是。解析：多个小事务合并成大事务，会增加占有锁的时间，可能会造成大量阻塞事务，甚至会产生死锁。9.在数据库应用系统分析与设计中，事务规范可以用来表示数据库应用系统的_。11.数据流图必须是正确的、一致的。
2024-05-15 23:52:52
769
原创 大数据最全学习系统编程No(4)，我的大数据开发美团求职之路
所以在自己使用库的过程之中，其实本质上，就是将别的函数接口包装在一个文件之中，然后为了避免该源码文件的泄露，将该文件生成一个二进制文件，然后当别的文件需要使用这个接口的时候，将这个接口的二进制文件复制到该目标文件所在的路径中，然后将要执行的文件也进行运行，然后将需要使用到的库文件和目标文件加载到内存，最后就可以通过好几个不同的可重定向目标文件生成出一个可执行程序，如下图：
2024-05-15 16:06:52
255
原创 大数据最全学习笔记 集群安装(1)，2024年最新终于搞明白了
---------Scp ~/eclipse-workspace/SparkWordcount/target/Sparkwordcount-1.0-SNAPsHoT.jar root@xxx.xx: /root2.输入密码 运行并登录sshroot@xxx.xxx.xxx.xxx 输入密码。m13.hdfs dfs -ls /user/spark output14.hdfs dfs -cat /user/spark_output/part-00800复制到面part-00000 文档。
2024-05-15 16:06:19
324
原创 大数据最全字节跳动实习面经(已拿offer附攻略)_字节实习面经(1)，2024年最新大数据开发笔试面试题
enum，因为是实习面试，可能没那么卷，个人感觉大部分问题并没有刁难，也并没有深挖一两个点，刚开始我以为字节会以恐怖算法题和八股文让我整个过程瑟瑟发抖，我以为疯狂计网、疯狂OS，但是两个面试官都跟我聊了很多项目相关的，并且我的项目都是以前自己负责编写，也参加过一些比赛啥的，所以在项目润色这块可谓是很早前就做了准备。根据刷题，八股文，和项目在这里我给大家一些建议吧。刷题。
2024-05-15 16:05:46
446
原创 大数据最全字节二面，出的是这道算法题（3）【推荐收藏，【秋招面试专题解析】
因为我们需要处理重复值的情况。除了固定下来的 i 值（蓝框框），left 和 right 当然也是需要处理重复的情况，所以对于 left 和 left+1，以及 right 和 right-1，我们都单独做一下重复值的处理。（其实没啥处理，就是简单的跳过）其中：在第 6 行时，因为三数之和大于 0，所以 right 进行了左移。最后一行，跳过了重复的-1。四数之和其实与本题解法差不太多，把固定一个数变成两个，同样还是使用双指针进行求解就可以了。
2024-05-15 16:05:13
330
原创 大数据最全Ms sqlserver2008 R2大数据表的分区实现，一线互联网企业高级大数据开发工程师面试题大全
比如说，你的数据是以年为分隔的，对于今年的数据而言，你常进行的操作是添加、修改、删除和查询，而对于往年的数据而言，你几乎不需要操作，或者你的操作往往只限于查询，那么恭喜你，你可以使用分区表。接着上面的例子，分区表可以将一个销售记录表分成五个物理上的小表，但是对于程序员而言，他所面对的依然是一个大表，无论是2010年添加记录还是2012年添加记录，对于程序员而言是不需要考虑的，他只要将记录插入到销售记录表——这个逻辑中的大表里就行了。将不同的文件放在不同的硬盘上，可以加快SQL Server的运行速度。
2024-05-15 13:20:22
288
原创 大数据最全MIT-6(1)，2024年最新阿里大神最佳总结大数据进阶学习笔记
这个实验主要是熟悉fork()、pipe()、read()、write()、getpid() 等函数的使用方法。
2024-05-15 13:19:49
314
原创 大数据最全mac系统使用经验(3)，2024年最新程序员如何技术划水
【代码】大数据最全mac系统使用经验(3)，2024年最新程序员如何技术划水。
2024-05-15 13:18:43
258
原创 【面试】将 95% 求职者拒之门外的BAT大数据面试题-附解题方法（文末有福利
内存若够，直接读入进行排序；内存不够，先划分为小文件，小文件排好序后，整理使用外排序进行归并。
2024-05-15 04:44:47
568
2
原创 shell常用命令面试总结(涉及head、tail、cut、sort、wc命令用法(2)
变量定义规则（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。（2）
2024-05-14 20:02:57
680
原创 shell常用命令面试总结(涉及head、tail、cut、sort、wc命令用法(1)
变量定义规则（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。（2）
2024-05-14 20:02:21
819
原创 shell常用命令面试总结(文本处理命令三剑客grep、sed、awk)（四）_shell script用法 -exec grep -i ‘‘
n：只打印模式匹配的行-f：加载存放动作的文件-r：支持拓展正则-i：直接修改文件a：新增内容i：在前面新增内容r：追加的文件来自哪里w：将匹配内容写到指定文件d：将指定内容删除-r：支持拓展正则g：全局修改i：忽略大小写c：整行替换。
2024-05-14 20:01:45
900
原创 RabbitMQ：高效传递消息的魔法棒，一篇带你助力构建可靠的分布式系统（上篇）_rabbitmq rpc 什么格式 传送最快
System.out.println(“发布”+1000+“个单独确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“发布”+1000+“个异步确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“发布”+1000+“个异步确认消息耗时”+(endTime-startTime)+“ms”);System.out.println(“消息发送成功了” + var1);
2024-05-14 19:21:29
595
原创 RabbitMQ安装后遇到启动失败问题总结-win10_rabbitmq安装后服务无法启动
一定要登入如下网站查看你所安装的Erlang的OPT版本和RabbitMQ版本是否匹配正确，且请仔细看清说明，哪些版本是有严重问题的，请不要安装。我就在安装时随意看了看支持25，结果安装了25.0.1这个会被CVE问题所影响的版本，就开启了debug为啥RabbitMQ不能起来的问题. 还好网上大佬多，一路解决到终于能登入了。在注意哈：rabbitmq和Elasticsearch的安装路径一定不能有空格和汉字,使用默认的安装路径是有空格的,一定要注意!!!
2024-05-14 19:20:52
463
原创 2024年最新【中秋特辑-代码解析月饼节】C++比C语言更加规范(3)，2024年最新厉害了
⭐命名空间中的内容，既可以定义变量，也可以定义函数命名空间是可以嵌套的【相对应的：调用的时候也需要嵌套调用】同一个工程中允许存在多个相同名称的命名空间,编译器最后会自动合成同一个命名空间中⭐缺省参数是C++中新添加的语法，使调用函数时变得更加灵活了⭐正是有函数名修饰规则的加持下，让C++相较于C语言上有了更加丰富的实现⭐如果函数返回时，出了函数作用域，如果返回对象还未还给系统，则可以使用引用返回如果已经还给系统了，则必须使用传值返回。
2024-05-14 10:44:44
263
原创 2024年最新【业务数据分析】——Excel数据透视表，2024年最新这些年我所经历的所有面试
下午5点30boss：把这张表给我整理成如下格式，就是根据平台给我汇总一下销量和收入，我要做个数据统计同学们，你们接到这样的需求之后，有什么想法呢？哈哈，第一个想法肯定是，我滴妈呀，为啥临到下班点给我派活，一天都干啥去了，是逼我加班么，这是什么boss，真够讨厌的。以上是开玩笑的啦，同学们都是积极上进的好同志，一般不会这么想的吧，肯定是在想解决方案，我该怎么操作。那接下来就看看怎么解决这个问题青铜：好办，在源表中按照品牌一个一个筛选，然后用函数。
2024-05-14 10:44:08
474
1
原创 2024年最新【一起学Java-第四篇】流程控制_java复合语句，2024年最新渣本逆袭大厂面经分享
复合语句也称语句块，是指由一对大括号括起来的若千条简单语句。复合语句定义变量的作用域(scope)。一个复合语句可以嵌套另一个复合语句。Java 语言的复合语句与C++复合语句不同的是：Java 语言不允许在两个嵌套的复合语句内声明同名的变量。如下面的代码在编译时将会出错。
2024-05-14 10:43:32
374
原创 2024年最新【WEB前端进阶之路】 HTML 全路线学习知识点梳理（下）(1)，2024年最新大数据开发面试点梳理
表单元素是允许用户在表单中输入内容，比如：文本域（textarea）、下拉列表（select）、单选框（radio-buttons）、复选框（checkbox）等等。：默认值，指的是 HTTP GET 方法，表单数据会附加在 action 属性的 URL 中，并以?用于收集用户的输入信息，HTML 表单表示文档中的一个区域，此区域包含交互控件，将用户收集到的信息发送到 Web 服务器。：指的是 HTTP POST 方法，表单数据会包含在表单体内然后发送给服务器，用于提交敏感数据，如用户名与密码等。
2024-05-14 10:42:56
346
原创 2024年大数据最新深度学习（三）—— 神经元与神经网络_神经网络神经元，深度解析跳槽从开始到结束完整流程
b 为偏置ff 为，常见的激活函数有tanh，sigmoid，relutt 为神经元的输出使用数学公式表示就是：tfWTAbt=f(WTA+b)可见，。1943 年，McCulloch 和 Pitts 将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的。把许多这样的神经元按照一定的层次结构连接起来，就得到了神经网络。
2024-05-14 02:05:16
422
原创 2024年大数据最新深度学习与神经网络之开宗明义 详解人工智能(4)，颠覆认知
在人工智能的各个子领域中，由于其解决的问题各不相同，所以对应的目标和使用的工具并不完全相同。在传统意义上来说，人工智能研究的目标包括感知智能、认知智能、行为智能。人工智能自成立以来尝试并放弃了许多不同的方法，包括模拟人类大脑、模拟人类解决问题、形式逻辑、大型知识数据库和模仿动物行为。(小爱、小度、Siri)、智能驾驶系统(特斯拉)、量化交易系统、自动下棋系统(AlphaGo)等能够自动形成决策或者行动的系统。在该领域占据了主导地位，事实证明还是比较成功的，帮助整个工业界和学术界解决了许多具有挑战性的问题。
2024-05-14 02:04:39
383
原创 2024年大数据最新深入xJavaFxTool的插件开发模式_xjavafxtool 源码分析(2)，2024年最新大数据开发高频面试题+解析
一个好的产品，离不开成熟的生态，可以兼容种类丰富的外部插件。同时，很方便的帮助开发者，基于一些公共的api来开发扩展基础应用，也是一项非常加分的能力。xJavaFxTool就是这么一款对开发者友好的开发框架。而xJavaFxTool的扩展能力，第一大语言优势就是，基于java开发语言，java语言的动态反射机制，有了反射机制，让动态调用得以实现，并在这里发光发热，项目的高效扩展集成得到了实现。
2024-05-14 02:04:03
286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人