左岸2420-CSDN博客

原创 nosql数据库期末考试知识点总结

包括文档数据库、键值数据库、图形数据库、列族数据库。1、键值数据库：这种类型的数据库主要使用散列表来存储数据，其简单和易部署，能更快速的数据定位。2、文档数据库：这种类型的数据库的存储格式类似于JSON的文档格式。文档数据库的优点是可以方便地处理半结构化数据。3、列族数据库：这种类型的数据库主要用于分布式存储的海量数据。4、图形数据库：这种类型的数据库主要用于存储图结构数据。其中键值数据库更加简单。文档数据库是一种非关系型数据库，它将数据存储为一系列的文档，通常使用JSON、XML格式。

2024-01-28 16:29:19 1692

原创基于大数据与时间序列预测的的书籍数据分析（内含spark+hive+mysql+kettle+echart+tensorflow）

本章主要介绍开发本系统所涉及到的相关技术。Spark SQL是Apache Spark中处理结构化数据的模块。编程抽象：Spark SQL提供了一个称为DataFrame的编程抽象，它允许开发者使用SQL或熟悉的DataFrame API查询Spark程序内的结构化数据。这种抽象简化了数据处理和分析的过程统一的数据访问方式：Spark SQL能够以同样的方式连接到任何数据源，包括Hive、Avro、Parquet、ORC、JSON和JDBC等。

2024-01-11 14:02:30 1045

原创基于爬虫和Kettle的书籍信息采集与预处理

一：爬虫1、爬取的目标将读书网上的书籍的基本信息，比如：封面、书名、作者、出版社、价格、出版时间、内容简介、作者简介、书籍目录、ISBN和标签爬取出来，并将爬取的结果放入数据库中，方便存储。2、网站结构图1读书网书籍类别详情此次实验爬取读书网页面中文学、小说、传记、青春文学、艺术、散文随笔、励志、人文社科、经济管理、励志十大类书籍。每一类书籍包括书名、价格、作者、出版社、ISDN、出版时间、封面以及书籍简介、作者简介、书目录和书籍所属类别。页面具体情况如图2所示。

2024-01-11 13:13:16 1605

原创基于爬虫天气网的基本信息的采集

爬取天气网。

2024-01-11 13:00:43 906 1

原创基于爬虫和Kettle的豆瓣电影的采集与预处理

将豆瓣电影网上的电影的基本信息，比如：电影名称、导演、电影类型、国家、上映年份、评分、评论人数爬取出来，并将爬取的结果放入csv文件中，方便存储。6、在get_info函数中，同样构造请求URL，设置请求头，并发送GET请求以获取电影详情页的内容。7、使用lxml库解析电影详情页的内容，提取导演、电影类型、国家、上映时间、评分和评论人数等信息。每一个电影包括电影名称、导演、电影类型、国家、上映年份、评分、评论人数。1、导入所需的库，如re、time、requests、lxml、random和csv。

2024-01-11 12:40:45 1228 3

原创在Ubuntu安装Anaconda、Pycharm和如何在linux里创建Pycharm的快捷键

之后依旧一直按回车，显示出Do you wish the installar to initialize之后输入yes，就会自动配置环境变量。指令：sudo gedit /usr/share/applications/pycharm.desktop。指令：tar zxf pycharm-community-2023.2.2.tar.gz。在pycharm-community-2023.2.2的bin目录下输入。

2023-10-06 22:26:40 335 1

原创在虚拟机内安装Spark

根据自己hadoop的版本进行下载（spark的版本不重要重要的是后面是基于hadoop的哪个版本）指令：sudo mv spark-3.2.4-bin-hadoop2.7 /usr/local。找到spark-3.2.4-bin-hadoop2.7的所在地，点进去，在右键打开终端，输入。指令：tar -zxvf spark-3.2.4-bin-hadoop2.7.tgz。需要输入的密码就是自己打开自己虚拟机所使用的密码。将环境配置好后必须更新环境才能使用。指令：spark-shell。

2023-09-12 19:47:04 1081

原创 TensorFlow的python的环境搭建

点击最左上角的文件，然后点击设置后，开始配置。

2023-09-12 11:24:23 167

原创 Tensorflow安装详细步骤

tensorflow的详细安装教程

2023-09-09 21:07:47 16445 12

原创 Java自学详细学习笔记（二）----- Java的运算符

运算符就是对字面量或者变量进行操作的符号。用运算符把字面量或者变量连接起来，符合Java语法的狮子就可以称为表达式。不同运算符连接的表达式体现的式不同类型的表达式。

2023-08-11 11:17:25 168 1

原创 Java+Mysql的学生管理系统

【代码】Java+Mysql的学生管理系统。

2023-08-03 11:27:15 184

原创 Java自学详细学习笔记（一）----- Java的基础概念

其中包含了Java的基础知识和一些练习题

2023-08-03 11:22:26 77

原创计算机组成原理中的汉明码（详解）

汉明码是检查出一位错、纠一位错的编码，所以其最小码距是3。它是使用奇偶校验码来进行检验和纠错的编码。

2023-07-26 20:04:36 5991 5

原创基于hadoop豆瓣电影数据分析

代码:load data local inpath "/home/liuxuanting/douban_movie-1686527723744.txt" into table lxt_2021900406；代码：hdfs dfs -copyFromLocal /home/liuxuanting/liuxuanting1 /log/代码：put ‘lxt_2021900406’,’1’,’info:moxige,bolan’,’5.8,5.7’优秀：数据库和表正确创建，sql语句正确，且高效。

2023-07-19 11:21:10 896 4

原创基于SpringBoot的学生家教网站

当今社会的家长更加注重子女的教育，在子女的教育方面呈现出强烈的意识与观念，并且家庭教育必不可少，再加上中国人口多，所以目的性需求群体与潜在性开发群体数量巨大，显而易见家教需求很多。本文阐述的是我们家教网站的功能论述与结果实现。Java面向对象编程语言是一种静态语言。Java编程语言可以跨越平台，具有可移植性和多线程性等特点。在程序运行时，程序代码将编译为二进制代码，然后将虚拟机解释的字节码发哪一成完成编译后就可以在任何地方运行的编码。

2023-07-13 23:58:14 283 1

原创大数据平台核心技术A期末考试知识汇总

从节点(Salve Node)又称数据节点(DateNode)，其负责数据的存储和读取。答：内部表的文件、元数据和统计数据等由hive进行管理，且被存储在hive、metastore、warehouse、dir目录下；2、数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。5、Shuffle是指对Map任务输出结果进行分区、排序、合并（合并不能改变最终的结果，期末已考）。4、Hbase是列式数据库，主要存储非结构化和半结构化的松散数据，但也可以存储结构化的数据。

2023-07-10 09:29:17 134 1

原创微信小程序实验报告-----学生家教小程序

现今家长望子成龙望女成凤的现象逐渐普遍，并且课堂学习已不满足中国式教育，家长们就愿意花费高昂的费用为自己的孩子请家教，家教市场需求量很大，但家教老师跟这个群体数量又十分短缺，而家教网站又不为大众所熟知，所以一个好的网站辅助宣传工具尤其重要。微信开发者工具是小程序开发的必备工具之一，您可以在其中实时查看小程序的效果，并且可以快速调试和修改代码。在微信小程序开发框架下使用微信开发者工具编写学生家教小程序，在传统家教小程序的基础上作出一定的改变，使得家教小程序的界面更加简洁和美观，使用户能更加快捷的操作。

2023-06-19 22:54:03 2499

yh1009的博客