- 博客(68)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 递归（python）
文章目录1.递归？理解递归递归算法三定律2.简单应用：数列求和问题思考代码1.递归？理解递归递归就是将问题分解为规模更小的相同问题。就像下图的存钱罐一样，不断不断变小~~持续分解，直到可以用非常简单直接的方式解决问题。明显特征：在运行过程中调用自己递归算法三定律1.递归算法必须要有基本结束条件2.递归算法必须能改变状态向基本结束条件演进3.递归算法必须调用自身2.简单应用：数列求和问题给定一个列表，返回所有数的和(不使用循环语句)举例：[1,3,5,7,9]返回：25思考
2021-08-26 16:53:46
424
23
原创 CSDN博客编辑
插入分割线</font><hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">图片按比例缩小居中左对齐右对齐在图片链接最后加上：居中：#pic_center =75%x左对齐：#pic_left =75%x右对齐：#pic_right =75%x调整字体颜色插入：<font color="Green">绿色</font><
2021-08-24 21:16:18
114
原创 计算机内存
1.内存单元和地址程序中直接使用的数据保存在内存中。内存： CPU 可以直接访问的数据存储设备。外存：磁盘、光盘、磁带等。数据：保存在外存里的数据必须先装入内存，而后 CPU 才能使用它们。内存只能临时存放程序的指令和数据。当电脑关闭后，内存中的数据也会随之消失。计算机中的程序指令和操作数据都是以二进制形式在内存中存储与计算。我们可将内存看作一排方格，每个方格存储0或者1，而一组方格代表一段完整的数据。例如：框起来的那组方格表示二进制的0110，也就是十进制的6。bit和byte:
2021-08-21 23:47:53
231
2
原创 排序与查找算法总结（python）
顺序查找概念：如果数据项保存在列表这样的集合中，则具有线性关系，可以通过下标（index）来访问和查找数据项。顺序查找：确定列表中是否存在需要查找的数据项。（数据项是无序的）首先从列表的第1个数据项开始,按照下标增长的顺序，逐个比对数据项，如果到最后一一个都未发现要查找的项,那么查找失败。代码：算法分析：因为数据项在列表中各个位置出现概率相等，所以平均情况下，比对的次数是n/2，所以，顺序查找的算法复杂度是O(n)。（数据项是有序的）下图查找数据项50，当看到54，可知不会
2021-08-19 00:44:36
605
4
原创 全国大学生大数据技能竞赛（数仓部署）
系列文章目录全国大学生大数据技能竞赛（Hadoop集群搭建）文章目录系列文章目录前言资料链接数仓部署详解（一）hbase安装前言本篇博客将根据往年全国大学生大数据技能竞赛的资料和今年的培训来搭建数据仓库，每一个步骤都有相应的执行的截图。以下博客仅作为个人搭建数据仓库过程的记录~如有不足之处欢迎指出，共同学习进步。附上资料链接。资料链接第四届全国大学生大数据技能竞赛中关于搭建数据仓库的培训链接：https://www.qingjiaoclass.com/market/detail/761
2021-08-16 18:58:45
5212
16
原创 解决： Establishing SSL connection without server‘s identity verification is not recommended. Accord
我在slave1上启动hive时一直循环Mon Aug 16 15:47:55 CST 2021 WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if expl
2021-08-16 18:58:04
1244
原创 hbase启动后只有主节点有HRegionServer，而从节点没有HRegionServer
我安装完hbase发现只有主节点有HRegionServer，两个从节点一个都没有出现HRegionServer我可是按照教程配的，莫非教程。。。。绝对是我的问题。。。教程怎么会有问题呢，唉。直觉感觉是regionservers文件的问题然后cd /usr/hbase/hbase-1.2.4/conf/发现？？我把文件名字写错了所以这里有问题应该是再重新bin/start-hbase.sh启动问题解决了！...
2021-08-15 23:31:56
3175
4
原创 全国大学生大数据技能竞赛（Hadoop集群搭建）
本文是根据青椒课堂上第四届全国大学生大数据技能竞赛的培训搭建的第四届全国大学生大数据竞赛培训01本地源-YUM
2021-08-14 14:47:09
8559
28
原创 Linux下安装完jdk后jdk版本和自己安装的不一样
我想要安装jdk1.8.0_171，但是已经按照步骤配置完发现jdk的版本居然是jdk1.8.0_262？！不用说，肯定有问题，应该是之前安装虚拟机的时候就安装了一些版本的jdk，那么应该卸载它，如何做？1.输入命令查看之前安装java的版本哦，原来之前安装过jdk1.8.0_262java -version2.输入命令查看现有的jdk软件包rpm -qa |grep java3.输入命令删除之前安装的软件包，也就是我要删除和jdk1.8.0_262有关的软件包rpm -e --n
2021-08-13 15:19:23
1511
原创 线性结构--双端队列Deque（python）
文章目录???? 1.什么是双端队列Deque？???? 2.抽象数据类型Deque????3.Python实现ADT Deque⚽ 4.应用：“回文词”判定???? 1.什么是双端队列Deque？双端队列Deque是一种有次序的数据集。队列的每一端都可以插入数据项和移除数据项。例如下面的表情包，就是：大佬可以从左边加入退出，也可以从右边加入退出~某种意义上说，双端队列集成了栈和队列的能力双端队列并不具有内在的LIFO或者 FIFO特性。如果用双端队列来模拟栈或队列，需要由使用者自行维护操
2021-08-12 22:41:26
480
原创 你的计算机配置似乎是正确的，但该设备或资源（DNS服务器）没有响应
电脑一直显示正在解析主机，无法上网，百度上的方法我都试过了还是没有解决，最后我尝试把电脑的网络设置重置，就成功连上网了。步骤如下：打开设置打开网络和Internet点击状态点击网络重置点击立即重置然后重置完后再尝试连接，就可以了。至于为什么选择重置而不是去修复DNS，what，我哪里会知道DNS咋出的问题？！！反正电脑刚买上的时候网络配置肯定没问题，重置就行了！...
2021-08-12 02:36:21
43097
10
原创 打印机算法--队列（python）
1.案例描述在计算机科学实验室里考虑下面的情况：平均每天大约10名学生在任何给定时间在实验室工作。这些学生通常在此期间打印两次这些任务的长度范围从1到20页。实验室中的打印机较旧，每分钟以草稿质量可以处理10页。打印机可以切换以提供更好的质量，但是它将每分钟只能处理五页。较慢的打印速度可能会使学生等待太久。应使用什么页面速率？2.案例分析我们可以通过建立一个模拟实验来决定：我们将需要为学生，打印任务和打印机构建表示如下图。当学生提交打印任务时，我们将把他们添加到等待列表中，一个打印任
2021-08-11 11:34:33
1497
原创 线性结构--队列Queue（python）
1. 队列抽象数据类型及Python实现生活中的队列当人排队时，首先出现在队尾，随着队首人的离去，他逐渐接近队首抽象数据类型Queue数据项仅添加到“尾rear”端，而且仅从“首front”端移除 Queue具有FIFO的操作次序Queue():创建一个空队列对象，返回值为 Queue对象;enqueue(item):将数据项item添加到队尾， 无返回值;dequeue():从队首移除数据项，返回值为队首 数据项，队列被修改;isEmpty():测试是否空队列，返回值为布尔值si
2021-08-11 01:03:31
198
原创 线性结构--栈 Stack（python）
本专栏主要基于北大的数据结构与算法python版进行整理。课程链接1.什么是线性结构？生活中的线性结构线性结构的称呼 不同线性结构的关键区别在于数据项增减的方式。有的结构只允许数据项从一端添加，而有的结构则允许数据项从两端移除。例如食堂排队打饭，人数如果要增加只能从后面排队，人减少只能打完饭再走。我们从4个最简单但功能强大的线性结构入手 ，开始研究数据结构：栈Stack，队列Queue，双端队列Deque和列表List。2.栈抽象数据类型及Python实现...
2021-08-07 23:47:44
391
原创 算法分析（python）
本专栏主要基于北大的数据结构与算法python版进行整理。课程链接1.什么是算法分析？对比程序，还是算法？如何对比两个程序？看起来不同，但解决同一个问题的程序，哪个“更好”？代码的风格，可读性都可以对比程序的好坏。好的程序变量名清晰，无用垃圾代码少。而比起程序，我们更看重算法本身的特性。程序和算法的区别算法是对问题解决的分步描述程序则是采用某种编程语言实现的算法，同一个算法通过不同的程序员采用不同的编程语言，能产生很多程序。算法分析的概念算法分析主要就是从计算资源消耗的角度来评判和
2021-08-06 10:58:50
581
原创 数据结构与算法--概述（python）
本专栏主要基于北大的数据结构与算法python版进行整理。课程链接1.数据时代信息时代就是数据的时代，数据结构与算法这门课将展示如何把数据组织起来进行有效的处理以解决问题2.问题求解的计算之道人们在生活中会遇到很多问题，因为数学的推理，明确，严谨，使得数学成为解决问题的终极工具，而数学具有可检验性，也就是可以验证的，所以大数学家希尔伯特提出：能否基于有穷观点的能行方法，来判断数学命题的真假。也就是说，如果有这个方法的话，很多数学问题，可能不用人去做，而是用程序，用机械的方法去解决，而什么是基于有穷
2021-08-02 23:50:33
162
原创 Java期末复习1
JDK提供的编译器：javac.exejava语言的主要贡献者是比尔盖茨如果源文件中有多个类，这些类可以都不是public类。如果源文件中只有一个类，这个类可以不是是主类。Java标识符由数字，字母和下划线（_），美元符号（$）或人民币符号（￥）组成。首位不能是数字，关键字不能当作Java标识符。由低字节向高字节自动转换（黑线表示无数据丢失的自动数据转换，红线表示转换中可能发生精度丢失）java中带小数点的数默认是double型，所以如果带小数点的话后面就要加f比如float ..
2021-06-23 21:09:50
1617
原创 python爬虫爬取某宝化妆品信息
进入淘宝网站，登录账户，搜索化妆品，去掉url里的无关参数，然后找到url如下https://s.taobao.com/search?q=%E5%8C%96%E5%A6%86%E5%93%81右击检查，点击Network,Response刷新，得到以下界面按Ctrl+F搜索某一个商品的信息，比如第一个，搜索198.00，如下图然后就看见了商品的信息也在这一行，也是以json字典的格式存储的大概思路了解了，现在开始写代码了，要复制cookie和useragent,淘宝还是有一定反爬措.
2021-06-08 12:53:27
1612
4
原创 MapReduce分布式计算框架
Map和Reduce是什么？Map：Map本质是拆解，比如说有辆小汽车，有一群工人，把它拆成零件了，这就是MapReduce：Redue本质是组合，把很多汽车零件和装置零件拼凑成变形金刚，这就是Reduce什么是MapReduce？MapReduce是六个过程MapReduce是六个过程，简单来说就是Input，Split，Map，Shuffle，Reduce，Finalize统合来看，MapReduce就是你有很多各种各样的蔬菜水果面包（Input），有很多厨师，不同的厨师分到了不同的蔬菜水
2021-06-01 21:42:20
89
原创 hive导入数据到动态分区报错
我在向hive中导入数据到动态分区时，也就是执行以下这个命令的时候hive> INSERT INTO TABLE myhive.taxPARTITION(TAX_CATEGORIES) SELECTid,start_date,end_date,tax_items,tax_amount,tax_categories FROM myhive.temp;很不幸的报错了。Job Submission failed with exception'java.io.IOException(No va
2021-05-30 20:45:19
765
原创 五月学习总结
本月主要学习了Hadoop搭建与使用hive搭建与使用。hadoop3.1.4hive3.1.2mysql8.0.23，在Windows上的数据集中的缺失值hadoop搭建文档分享启动和运行hive的报错（已解决）hive向动态分区插入数据报错（未解决）hive分区表hive分桶表...
2021-05-30 12:15:10
113
原创 hadoop高可用环境搭建文档
复制这段内容后打开百度网盘App，操作更方便哦。 链接:https://pan.baidu.com/s/1xmGdyQNGwGEEYgWjFYpJqw 提取码:6mww这是我在搭建Hadoop时使用的文档。
2021-05-30 11:48:37
142
原创 hive分桶表学习笔记
分桶表分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径；分桶针对的是数据文件分桶表操作创建分桶表数据准备1001 ss11002 ss21003 ss31004 ss41005 ss51006 ss61007 ss71008 ss81009 ss91010 ss101011
2021-05-30 11:02:38
147
原创 启动和运行hive时遇到的报错（已解决）
一：报错如下Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)Vat org.apache.hadoop.conf.Configuration.set(Configuration.java:1380)...at org.apache.hadoop.util.Run
2021-05-29 18:35:13
11081
5
原创 数据集中的缺失值
产生原因机械原因：例如数据存储失败，存储器损坏导致数据收集或保存失败人为原因：由于人的主观失误，历史局限或有意隐瞒造成数据缺失处理方法
2021-05-29 17:45:51
382
原创 hive分区表
分区表概述存储数据有两种方式1.在hdfs上创建目录，然后把数据都放在目录下的某个文件下，这样的话，时间长了，存的数据多了，文件越来越大，分析也不方便。2.创建分区，把第一天的数据放在某目录下，第二天再去创建目录存放第二天数据，第三天，第四天，以此类推。数据在以后分析起来方便。分区表的操作创建分区表语法create table score#创建表(s_id string,c_id string,s_score int)#字符串是stringpartitioned by(month stri
2021-05-29 17:35:29
116
数据是来自某招聘网站的数据分析师的岗位招聘信息； 包含城市：上海，深圳，北京，广州，杭州等
2022-10-04
python Pyecharts的基本绘图
2022-04-11
小型超市管理系统.rar
2021-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人