- 博客(38)
- 收藏
- 关注
RSS订阅原创 大数据技术之大数据概论
2020年是5G的元年，国家在大力铺设5G设备，2021年就是5G手机应用的开始，也是大数据要爆发的1年。就更不用说海量数据的计算了。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。大数据的人才目前除了培训机构培养的，没有真正的科班毕业，而且真正能培养好大数据人才的培训机构又有几个。7、房产:大数据全面助力房地产行业，打造精准投策与营销，选出更合适的地，建造更合适的楼，卖给更合适的人。
2024-05-13 20:26:42
585
原创 学习大数据，所需更要的shell基础（2）
1）基本语法Action;2）经验技巧（1）必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。（2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255)3）案例实操计算两个输入参数的和。vim fun.sh##文件中添加如下内容/bin/bashs=0s=$[$1+$2]echo "$s"## 运行测试。
2024-05-08 20:28:13
736
1
原创 学习大数据，所需要的shell基础（1）
shell是一个命令解释器，他接受应用程序/用户命令，然后调用系统内核shell还是一个功能强大的编程语言，易编写、调试、灵活性强1）Linux提供的Shell解析器有2）bash和sh的关系看出sh是bash的软连接3）Centos默认的解析器是bash1）常用系统变量HOMEHOME、HOMEPWD、SHELLSHELL、SHELLUSER等2）案例实操（1）查看系统变量的值echoHOMEhomeatguigu。
2024-05-06 08:00:00
558
1
原创 学习大数据，所需要的linux基础（2）
RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe是Linux这系列操作系统里面的打包安装工具，它虽然是RedHat的标志，但理念是通用的。RPM包的名称格式-“apache” 软件名称-“1.3.23-11”软件的版本号，主版本和此版本-“i386”是软件所运行的硬件平台，Intel 32位微处理器的统称-“rpm”文件扩展名，代表RPM包。
2024-04-25 21:18:26
865
原创 学习大数据，所需要的linux基础（1）
Linux内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
2024-04-20 20:30:47
744
1
原创 学习大数据，所需要的java(Maven)基础（2）
在使用maven过程中，我们所使用的jar包是会到中央仓库中进行下载的，但是如果再下载过程中因为网络不通畅等原因，会导致jar包下载失败，并且会形成一个xxxx.lastupdated的文件，但是此时maven并不会将其删掉后重新下载，而是认为它下载过了，我们需要做的是将.xxxxlastupdated文件手动删除后，再次重新下载。jar包冲突往往是发生在，同一个项目在运行时导入了两个相同jar包的不同版本，又因为两个不同版本的jar包代码是不一样的，是冲突的，导致在运行时，报出各种莫名其妙的错误。
2024-04-14 20:59:33
1096
1
原创 学习大数据之JDBC(使用JAVA语句进行SQL操作)（3）
1.概述：简化jdbc开发的工具2.三大核心对象QueryRunner 执行sqlResultSetHandler：处理结果集DBUtils类： 主要用于事务管理，关闭资源等1.构造：QuerryRunner()2.特点：连接对象需要我们自己维护，自己关闭3.方法int update(Connection conn, String sql, Object… params)-> 针对于增删改conn:连接对象sql:sql语句->支持?占位符params:为?
2024-04-02 16:04:02
1159
原创 学习大数据之JDBC(使用JAVA语句进行SQL操作)（2）
我们平时要频繁的创建连接，销毁链接，比较耗费内存资源，所以我们需要学习连接池，里面装有很多条连接对象，使用的时候从连接池中获取，使用完毕后，归还连接池。1.xml：可拓展性标记语言 ---- 标签名自定义 标记语言：所有的内容，都是由标签组成。b.取名：xxx.xml -> c3p0-config.xml ----> 文件名不能错。2.连接池接口：DateSource ------ 连接池的一个标准。1.概述：是阿里巴巴开发的，号称目前商业界最可靠的连接池。2.获取：Connection中的方法。
2024-03-27 11:12:39
998
原创 学习大数据之JDBC(使用JAVA语句进行SQL操作)
1.问题描述：如果开发一个功能，我们不可能直接在mysql工具中写sql语句，我们需要将sql语句写道逻辑代码中，利用APU让sql语句执行起来，从而操作数据库中的数据，我们可以利用java代码中的API ----- JDBC2.JDBC:是一套操作数据库的API，是一种标准。
2024-03-24 15:14:48
868
原创 学习大数据，所需要的SQL基础（3）
（‘小龙’，‘男’，100000，‘1921-01-01’，1）；（‘张之维’，‘男’，50000，‘1921-01-01’，3）；（‘大勇’，‘男’，20000，‘1942-01-01’，1）；（‘大伟’，‘男’，50000，‘1921-01-01’，2）；（‘小捷’，‘男’，70000，‘1921-01-01’，2）；（‘楚岚’，‘男’，60000，‘1921-01-01’，3）；（‘冯宝’，‘男’，30000，‘1921-01-01’，3）；5.查询所有的部门信息关联查询出该部门中的所有员工信息。
2024-03-19 16:27:32
1056
原创 学习大数据，所需要的SQL基础（2）
第二范式（2NF）是在第一范式（1NF）的基础上建立起来的，既满足第二范式必须先满足第一范式，第二范式要求数据库中的每个实例或行必须可以被唯一的区分，为实现区分通常需要为表加一个列，以存储各个实例的唯一标识。好的数据库设计对数据的存储性能和后期的程序开发，都会产生重要的影响，建立科学的，规范的数据库就需要满足一些规则来优化数据的设计和存储，这些规则称为范式、先定位到要查询哪一个表，然后根据什么条件去查，表确定好了，条件也确定好了，开始利用select从查询，查询得到一个结果，在针对这个结果进行一个排序。
2024-03-18 16:13:44
856
原创 学习大数据，需要的SQL基础（1）
数据库操作语言：简称DML(Data Manipulation Language)，用来对数据库中的记录进行操作，关键字：insert，delete，update等。---- 双引号不明确。-------- 如果省略列名，那么在存值时需要将所有列的值都写上。先定位到要查询哪个表，然后根据什么条件去查，表确定好了，条件也确定好了，开始利用select查询，查询得出一个结果，在针对这个结果进行一个排序。b.insert into 表名(列名,列名) value (值，值)，(值，值)，(值，值)，(值，值)；
2024-03-13 18:26:13
1055
原创 学习大数据，所必需的java基础（完结篇）
1.jdk1.5版本的新特性 — 一个引用数据类型和类，接口，枚举是同一个层次引用数据类型:类 数组 接口 枚举 注解2.作用：说明：对代码进行说明，生成doc文档（API）文档@author@version检查：检查代码是否符合条件 @Override @FunctionalInterface分析：对代码进行分析，起到了代替配置文件的作用3.JDK中的注解：@Override — 检测此方法是否为重写方法jdk1.5版本 支持父类的方法重写。
2024-03-11 20:14:37
846
原创 学习大数据，所需要Java基础（9）
1.概述：单元测试 ，用于测试一个方法的，属于第三方工具，所以使用需要导jar包，在一定程度上可以代替main方法2.作用：单独测试一个方法，看看此方法能不能跑通1.class对象：jvm在堆内存中为加载到内存中的class文件创建出来的对象2.class类：描述这个class对象额类叫做class类。
2024-03-11 15:31:27
1072
原创 学习大数据，所必需的java基础（8）
作用：读写对象将来我们new出来的对象中也携带了数据（属性值），我们可以将携带数据的对象存储到硬盘上，用的时候直接读出来。
2024-03-06 16:11:08
928
原创 学习大数据，所必需的java基础（7）
I：Input 输入O：Output 输出IO流：将一个数据从一个设备上传输的到另一个设备上的技术为啥要学IO流？之前我们学过数组和集合，用于存储数据，但是数组和集合都是临时存储的，后面我们要用数据的话，就没了所以我们就想，将数据永久保存起来，可以保存到硬盘的文件中而我们学的IO流可以将数据保存到硬盘上的文件中，后续使用的话可以从文件中读出来使用1.概述：OutputStream(抽象类)2.子类：FileOutputStream输出流对象。
2024-03-03 16:17:44
897
原创 学习大数据，所必需的java基础(6)
1.概述：set是一个接口，是Collection下的子接口2.使用：a.所用的方法和Collection接口中的方法一模一样b.set接口中的方法并没有堆Collection中的方法进行任何的扩充c.set以及下面所有的实现类集合相当是一个傀儡因为所用的set集合底层都是依靠map集合实现的1.概述：HashSet是Set接口的实现类对象2.特点a.元素无序b.元素不可重复c.无索引d.线程不安全3.数据结构：哈希表jdk8之前： 哈希表 = 数组+链表。
2024-02-29 10:07:34
1132
原创 学习大数据所需的java基础(5)
作用 遍历集合或者数组格式for(元素的数据类型 变量名:要遍历的集合名或者数组名){变量代表的就是每一个元素快捷键集合名或者数组名.,forlist.add("李云龙");list.add("丁伟");list.add("孔捷");list.add("张大彪");list.add("魏大勇");list.add("段鹏");定义格式：piublc class 类名{ }什么时候确定泛型类型new对象的时候确定类型list.add("李云龙");
2024-02-21 19:14:10
1032
原创 学习大数据，所必需的java基础(4)
学过计算机组成原理的同学，应该对这个比较熟悉，为了大家更好的理解，我们使用生产线程，消费线程作为例子，来给大家介绍。生产线程：1.先判断flag的值，如果flag== true，证明有包子，生产线程wait2.如果flag为false，证明没有包子，就要生产包子3.修改flag状态为true，证明生产完了，有包子了4.唤醒消费进程 notify消费线程：1.先判断flag的值，如果flag== false，证明没有包子，消费线程wait。
2024-02-02 15:58:23
786
原创 学习大数据，所必需的java基础(3)
引用数据类型：类 数组 接口 注解 枚举所有枚举类的父类 ----- Enumpublic snum 枚举类类名{代码体；枚举类的成员所有成员默认static final常量，不用写上static fianl每一个枚举修饰当前枚举类的对象问题 枚举类中的枚举都是什么类型，本类类型枚举的使用场景 一般都是表示状态构造特点 枚举类中的构造都是private的。
2024-01-26 20:23:46
992
原创 学习大数据所以需要的java基础（2）
1.概述string类代表字符串类型2.特点a.java 程序中的所有字符串字面值（如“abc”）都作为此类的实例实现凡是带双引号的，都是String的对象String:是数据类型，字符串类型s 是对象名“abc”是String类型的一个对象b.字符串是常量，他们的值在创建之后不能更改字符串底层是一个被final修饰的数组比如 String s = “hello”c.String对象是不可变的所以可以共享比如 String s1 = “abc”
2024-01-22 19:38:04
998
原创 Java的学习简化要点，带你快速过一遍java（1）
默认方法1.格式:修饰符 default 返回值类型 方法名（参数）{方法体renturn 结果default定义方法只能在接口中使用使用：a.创建实现类，实现接口b.默认方法可以重写，也可以不重写c.创建实现类对象，调用默认方法静态方法1.格式修饰符 static 返回值类型 方法名（参数）{方法体return 结果2.使用接口名直接调用1.格式public static final 数据类型 变量名 = 值2.特点。
2024-01-17 16:02:43
969
原创 敲公式，请不要再挨个找了！！
你还在word上敲公式挨个找吗？你还在为word中公式排版对不齐而苦恼吗？你还在因为找不到相关的符号而暴躁吗？本文将告诉你如可快速的在word中快速的敲写公式！LaTeX是一种排版系统，用于创建高质量的文档，特别适用于科学、技术和数学领域。它是由Donald Knuth在20世纪80年代初开发的，旨在提供一种简洁而强大的方式来排版复杂的文档。与常见的文字处理软件（如Microsoft Word）不同，LaTeX使用一种基于标记语言的方法来定义文档的结构和格式。
2023-11-28 15:35:26
162
2
原创 24年考研即将开始，我想告诉你这几件事
考研是指为了进入研究生阶段而进行的全国性统一考试。接下来我将论述一下考研的利与弊。利：考研是继本科之后的另一次深造机会，可以进一步提升自己的学术水平和专业知识。通过攻读硕士或博士学位，可以更深入地研究自己感兴趣的领域，并获得更高级别的学历。就业竞争力：研究生学历在某些行业和职位上具有竞争优势。一些高端的科研机构、大型企业以及高等教育机构更倾向于招聘具有研究背景的人才。对于那些希望从事学术研究、教育、科研或高级职业的人来说，考研可以提升他们的就业竞争力。
2023-11-18 16:50:01
730
3
原创 网络中的损失函数其实就这样
在机器学习和深度学习中，损失函数是用来衡量模型预测结果与真实值之间差异的函数。它在训练过程中起着关键的作用，通过最小化损失函数来优化模型的参数。以下是一些常见的损失函数，pytorch已经内置了相关损失函数，可以直接调用即可。
2023-11-17 11:05:48
122
3
原创 盘点那些常用的激活函数
激活函数是神经网络中非常重要的组成部分，它们引入了非线性性质，使得神经网络可以学习和表示更加复杂的函数关系。在深度学习中，激活函数通常被应用于神经网络的隐藏层和输出层。pytorch中已经内置了相关的函数。
2023-11-16 14:00:17
96
3
原创 Pytorch的安装，有点繁琐但是很详细，保姆级教程不信你安装不成功（Cuda+Cudnn+Anaconda+Pytorch）
PyTorch是一个开源的Python机器学习库，它提供了丰富的工具和功能，用于构建深度学习模型。它由Facebook的人工智能研究小组于2016年发布，并迅速成为深度学习领域中最受欢迎的框架之一。PyTorch的设计目标是提供简单易用的接口，同时保持灵活性和高性能。它基于动态计算图的概念，这意味着模型的计算图是根据实际运行时的数据动态构建的。这种设计使得PyTorch在实验和原型开发方面非常方便，因为用户可以轻松地编写和调试模型，而无需事先定义静态计算图。
2023-11-15 10:27:19
5191
2
原创 sympy在也不允许不会编程求导、求积分
SymPy作为Pyrhon的一个数据包，用于进行符号计算和数学表达式操作。它提供了一套强大的工具，用于执行符号计算、代数运算、微积分、方程求解、线性代数、离散数学等数学领域的操作。下面是SymPy库的一些主要功能和特点：符号计算：SymPy的主要特点是它能够处理符号表达式，而不仅仅是数值。它可以创建符号变量，进行代数运算，并保留表达式的精确性。表达式操作：SymPy支持各种常见的数学运算，例如加法、减法、乘法、除法、指数和对数等。它还提供了许多特殊函数，如三角函数、指数函数、超越函数等。
2023-11-14 19:32:27
89
3
原创 分分钟认识一下卷积神经网络中的那些骚操作
过拟合，过拟合是我们遇到的主要问题，通俗来讲，过拟合就是在训练集上表现的非常良好，而在测试集上表现一般，因为模型完全学会了训练集上的特征，这些特征是有偏差的，并不是一般化的特征，所以通过新的数据表现就不是很好。所以引进了迁移学习，迁移学习的方法非常简单，将预训练的模型导入，然后将最后的分类全连接层换成适合我们自己问题的连接层，然后开始训练，可以固定卷积层的参数，也可以不固定进行训练，最后能够非常有效的得到结果。如图，虽然特征都是分正确了，但是学到的特征为局部特征，会导致测试集的预测较差。
2023-11-12 16:06:26
403
4
原创 AlexNet第一个深度卷积神经网络代码实现(保姆级教程一定叫你跑起来)
本文介绍了一下AlexNet模型，并且提供了详细的代码，无需另外下载数据集。
2023-11-08 20:25:45
202
4
原创 sympy 自定义基本初等函数（幂函数，指数函数，三角函数，对数函数，反三角函数）求导，求偏导、多次求导
本文木器在于给了各种类型函数求导的代码，希望对大家有所帮助
2023-11-04 09:02:07
541
6
原创 Pytorch的安装（Cuda+Cudnn+Anaconda）GPU版本，巨详细，安装不成功 你来打我
本文主要是帮助刚入门的小白，搭建pytorch环境，主要分为cuda，cudnn，anaconda和pytorch安装四个步骤，讲解通俗易懂，按照本文步骤能够快速的搭建gpu版本的pytorch
2023-10-29 17:00:35
2062
11
原创 最优化-斐波那契数列（fibonacci）优化方法 算法原理及代码实现
本文介绍了Fibonacci数列优化的原理，并详细的用pytho实现其算法。
2023-10-26 10:55:26
2663
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人