不懂开发的程序猿
我有一个梦想,我写的代码,可以像诗一样优美。我有一个梦想,我做的设计,能恰到好处,既不过度,也无不足。
展开
-
基于Spark的企业订单数据分析
大数据实验教学系统案例:企业订单数据分析现有某公司销售数据集,包含orders、order details和products数据。其中:830个orders和2,155个order details。现公司领导提出,希望大数据分析部门通过分析该销售数据集,回答以下问题:• 每个客户下了多少订单?• 每个国家的订单有多少?• 每月(年)有多少订单?• 每个客户的年销售总额是多少?• 客户每年的平均订单是多少?本案例用到的数据集说明如下: 订单数据集文件:/data/dataset/nw/NW-Or原创 2022-07-03 10:14:36 · 2938 阅读 · 1 评论 -
Spark集群环境搭建(standalone模式)
大数据实验教学系统Spark集群环境搭建(standalone模式)spark有以下几种运行模式,每种运行模式都有自己不同的优点和长处。安装和配置Spark环境(standalone模式) 掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境 2、将配置好的Spark文件夹拷贝到三个worker节点上 3、掌握Spark集群的启动和关闭 4、测试Spark集群安装是否成功。硬件:x86_64 ubuntu 16.04服务器 软件:JDK1.8,Spark-2原创 2022-07-01 08:48:45 · 4737 阅读 · 2 评论 -
使用Spark shell
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下: Spark的运行模式取决于传递给SparkContext的Master URL的值。• 参数选项–master:这个参数表示当前的Spark Shell要连接到哪个master,如果是local[*],就是使用本地模式启动spark-shell,其中,中括号内的星号表示需要使用几个CPU核心(core),也就是启动几个线程模拟Spark集群。可选地,默认为local。• 要查看完整的参数选项列表,可以执行“s原创 2022-07-01 08:56:47 · 7331 阅读 · 0 评论 -
基于Spark的网上商城用户行为分析
实验室名称:大数据实验教学系统实验项目名称:案例:网上商城用户行为分析某大型电商网站收集有用户在2014年购物行为数据,包含了300000条数据记录。现希望大数据分析团队使用Spark技术对这些数据进行分析,以期获得有价值的信息。本案例用到的数据集说明如下: 数据集文件:/data/dataset/batch/user_action.csv 该数据来源于某电商网站的用户在2014年购物行为数据,包含了300000条数据记录。三、操作步骤阶段一、启动HDFS、Spark集群服务和zeppeli原创 2022-07-02 11:08:09 · 3213 阅读 · 0 评论 -
基于Spark技术的银行客户数据分析
大数据实验教学系统案例:银行客户数据分析某银行积累有大量客户数据,现希望大数据分析团队使用Spark技术对这些数据进行分析,以期获得有价值的信息。本案例用到的数据集说明如下: 数据集文件:/data/dataset/bank-full.csv 该数据集包含银行客户信息,其中部分字段的说明如下:1、启动HDFS集群 在Linux终端窗口下,输入以下命令,启动HDFS集群:2、启动Spark集群 在Linux终端窗口下,输入以下命令,启动Spark集群:3、启动zeppelin服务器 在原创 2022-07-03 09:34:54 · 5118 阅读 · 2 评论 -
基于Spark的数据清洗与转换
掌握数据整合、数据清洗和数据转换方法。1、整合来自不同数据源的数据。 2、对数据进行清洗。 3、对数据进行转换。数据质量一直是业界普遍存在的问题。不正确或不一致的数据的存在可能会对分析产生误导。90%的时间,数据科学家们并非花时间在建立炫酷的模型上,而是花在数据准备上。做任何分析,最难也最花时间的部分都在数据准备。有一个行业术语叫做“数据工程”,指的是数据的来源和准备。 数据准备阶段是一个非常重要的阶段,不仅对于算法来说是正确的,而且还可以让我们更好地理解我们的数据,这样我们就可以在实现算法的同原创 2022-07-04 01:16:20 · 5130 阅读 · 2 评论 -
SparkML机器学习实战:应用回归算法,预测二手房价格
受某房产中介委托,需开发一套机器学习系统,当用户将要售卖的二手房挂到二手房网站上时,该机器学习系统能自动根据该二手房的相关信息给出合理的销售价格预测,以指导客户报价。本案例所使用的数据集为纯文本文件,说明如下: 数据集路径:/data/dataset/ml/house/train.csv1、启动HDFS集群 在Linux终端窗口下,输入以下命令,启动HDFS集群:2、启动Spark集群 在Linux终端窗口下,输入以下命令,启动Spark集群:3、启动zeppelin服务器 在Linux原创 2022-07-05 09:15:55 · 2224 阅读 · 0 评论 -
基于Spark的电影推荐系统实现
受某视频网站委托,需开发一套基于Spark的大数据机器学习系统,应用协同过滤算法对网站客户进行电影推荐。本案例所使用的数据集说明如下: 评分数据集:/data/dataset/ml/movielens/ratings.csv 电影数据集:/data/dataset/ml/movielens/movies.csv1、启动HDFS集群 在Linux终端窗口下,输入以下命令,启动HDFS集群:2、启动Spark集群 在Linux终端窗口下,输入以下命令,启动Spark集群:3、启动zeppel原创 2022-07-05 09:29:26 · 9446 阅读 · 7 评论 -
基于Linux安装和配置集成开发环境IntelliJ Idea
掌握linux中IntelliJ Idea安装和配置。 掌握IntelliJ Idea中离线安装scala插件的方法。 熟悉IntelliJ Idea中创建scala项目的过程。1、使用tar包进行linux系统中IntelliJ Idea安装。 2、在IntelliJ Idea中进行scala插件离线安装。 3、利用安装了scala插件的IntelliJ Idea创建scala项目。IDEA 全称IntelliJ IDEA是用于java语言开发的集成环境(也可用于其他语言),Intelli原创 2022-07-05 09:50:18 · 3323 阅读 · 0 评论 -
使用IntelliJ Idea开发Spark应用程序
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。 2、部署分布式Spark应用程序。首先创建Spark应用程序,在本地运行并测试;然后修改Spark应用程序,访问分布式文件系统HDFS;最后将项目打为jar包,部署到Spark集群上执行。硬件:x86_64 ubuntu 16.04服务器 软件:JDK1.8,Spark-2.3.2,Hadoop-2.7.3,IntelliJ Idea1、启动IntelliJ Idea。在终原创 2022-07-05 09:57:46 · 5577 阅读 · 0 评论 -
示例程序WordCount的执行
面对大数据,大数据的存储和处理,就好比一个人的左右手,显得尤为重要。Hadoop比较适合解决大数据问题,很大程度上依赖其大数据存储系统,即HDFS和大数据处理系统,即MapReduce。而对于MapReduce,单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版 “Hello World“,该程序的完整代码可以在 Hadoop 安装包的“src/examples“目录下找到。 单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。本实验原创 2022-06-25 16:40:04 · 2907 阅读 · 0 评论 -
Hadoop完全分布式部署
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。(1)学会hadoop完全分布式配置(2)理解完全分布式配置的配置文件本次环境是:Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程: 选定一台机器作为 master,在 master 节点上安装 Hadoop,配置网原创 2022-06-25 16:19:02 · 3068 阅读 · 0 评论 -
Hadoop基础命令的使用
搭建好Hadoop环境后,就可以使用Hadoop的一些命令来实现一些功能了。HDFS是Hadoop应用用到的一个最主要的分布式存储系统。本实验用一些常用的命令来熟悉Hadoop对文件的操作。熟练掌握hadoop基础命令的使用,理解HDFS和Hadoop的关系。本次环境是:Ubuntu16.04 + jdk1.8.0_151 + hadoop2.7.3工具包在/simple/soft目录下安装好Hadoop环境之后,可以执行【】命令进行对hadoop进行操作。我们通过命令行和Hadoop打交道,进一步增加对原创 2022-06-25 16:28:26 · 5246 阅读 · 0 评论 -
搭建基于Zookeeper服务的Hbase集群
本实验任务主要完成基于ubuntu环境搭建基于Zookeeper服务的Hbase集群的工作。通过完成本实验任务,要求学生熟练掌握搭建基于Zookeeper服务的Hbase集群的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握搭建基于Zookeeper服务的Hbase集群Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,原创 2022-06-26 10:18:05 · 1766 阅读 · 0 评论 -
Hbase伪分布部署
本实验任务主要完成基于ubuntu环境的Hbase伪分布部署的工作。通过完成本实验任务,要求学生熟练掌握Hbase伪分布部署的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase伪分布部署Ubuntu、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统“。就像Bigtab原创 2022-06-26 09:48:33 · 3224 阅读 · 3 评论 -
Hbase查看集群状态
本实验任务主要完成基于ubuntu环境查看Hbase集群状态的工作。通过完成本实验任务,要求学生熟练掌握查看Hbase集群状态的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase查看集群状态的相关操作Ubuntu、Hadoop2.7.3、Zookeeper3.4.5、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结原创 2022-06-26 10:31:21 · 5858 阅读 · 0 评论 -
使用内置zookeeper搭建Hbase集群
本实验任务主要完成基于ubuntu环境使用内置zookeeper搭建Hbase集群的工作。通过完成本实验任务,要求学生熟练掌握使用内置zookeeper搭建Hbase集群的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase完全分布式部署Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang e原创 2022-06-29 09:06:40 · 2288 阅读 · 0 评论 -
Hbase shell命令的使用
本实验任务主要完成基于ubuntu环境掌握Hbase shell命令的使用的工作。通过完成本实验任务,要求学生熟练掌握Hbase shell命令的使用的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase shell命令的使用Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Zookeeper3.4.5、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,该技术来原创 2022-06-29 09:19:38 · 3537 阅读 · 0 评论 -
Pig的搭建和配置
Pig内部,每个操作或变换是对输入进行数据处理,然后产生输出结果,这些变换操作被转换成一系列MapReduce作业,Pig让程序员不需要知道这些转换具体是如何进行的,这样工程师可以将精力集中在数据上,而非执行的细节上。本实验通过练习Pig的搭建和配置来为以后学习Pig做环境准备。练习Pig的搭建和配置Ubuntu16.04、Hadoop-2.7.3、Pig-0.17.0通过Pig安装包安装Pig后,进行相关配置,然后练习Pig的两种模式和命令使用。♥ 知识链接Pig知识 Apache Pig为大数据原创 2022-06-30 17:52:38 · 1755 阅读 · 0 评论 -
sqoop的安装和使用
本实验通过练习sqoop的安装和配置,为学习sqoop准备,并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是:Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后,在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF原创 2022-06-30 17:27:06 · 3728 阅读 · 0 评论 -
spark完全分布式部署
本实验任务主要完成基于ubuntu环境的Spark完全分布式部署、配置和调试工作。通过完成本实验任务,要求学生熟练掌握Spark完全分布式部署方法,为后续实验的开展奠定Spark平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark完全分布式环境的部署本次环境是:Ubuntu16.04spark有以下几种安装模式,每种安装模式都有自己不同的优点和长处。 local(本地模式):常用于本地开发测试,本地还分为local单线程和local-cluster多原创 2022-06-30 17:16:19 · 3450 阅读 · 0 评论 -
flume的安装和配置
Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装,为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。熟练flume的安装和配置,理解flume的原理和应用本次环境是:Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+f原创 2022-06-30 18:00:04 · 11681 阅读 · 0 评论 -
[ERROR] COLLATION ‘utf8_unicode_ci‘ is not valid for CHARACTER SET ‘latin1‘
跟着b站的谷粒商城项目做,前面的视频中设置了数据库的字符集编码,但是后面自己发现了MySQL容器重启报错,不停的在重启。docker安装完MySQL并run出容器后,建议请先修改完字符集编码后再新建mysql库-表-插数据。修改字符集编码成功,退出容器重启MySQL也不存在报错。发现删除my.cnf文件MySQL容器又可以正常启动。...原创 2022-07-18 13:43:47 · 3169 阅读 · 9 评论 -
基于SpringBoot的外卖项目的优化
基于SpringBoot的外卖项目的优化,主要从缓存优化、读写分离、Nginx反向代理和负载均衡等方面进行考虑原创 2023-02-24 20:04:18 · 759 阅读 · 1 评论 -
基于SpringBoot的外卖项目(详细开发过程)
该外卖项目是基于SpringBoot + MyBatisPlus为框架来开发的,前端页面框架都是现成的,只需要Java后端开发程序员编写对应的接口功能和服务,是一个很不错的练手项目。项目也非常适合作为大学生的【课设】,【毕设】本篇博客详细介绍了该外卖项目的开发步骤,如果需要写【课程设计】或【本科毕业论文】文档,建议参考我下面这篇博客,内有详细的文档说明原创 2023-02-22 18:33:08 · 6012 阅读 · 15 评论 -
云上办公系统项目
云上办公系统是一套自动办公系统,系统主要包含:管理端和员工端管理端包含:权限管理、审批管理、公众号菜单管理员工端采用微信公众号操作,包含:办公审批、微信授权登录、消息推送等功能项目服务器端架构:SpringBoot + MyBatisPlus + SpringSecurity + Redis + Activiti+ MySQL前端架构:vue-admin-template + Node.js + Npm + Vue + ElementUI + Axios原创 2023-03-07 17:54:09 · 34709 阅读 · 53 评论 -
签署IEEE论文版权协议
签署IEEE论文版权协议原创 2023-04-14 16:24:26 · 6546 阅读 · 55 评论 -
600份国家自然基金申报书--模板
600份国家自然基金申报书--模板原创 2023-08-14 11:53:29 · 1198 阅读 · 0 评论 -
学术海报Poster-- 模板分享
读研期间,发表的论文被录用,一般会通过口述演讲或者Poster海报的形式向参与者展示你的论文科研成果,其中受众面积最大的一般是Poster海报分享的形式。对于论文录用者来说,它也是最简单的一种参会形式,而拥有一份精美的海报模板,对于广大的研究生来说,能省时省力不少,科研工作成果好很重要,但是,用精美的海报展示您的科研成果,让更多的读者了解到你的科研内容/成果,同样也非常重要。我在读研期间,就苦于寻找一份精美的海报模板而花费大量时间,现将这100份模板海报分享给你,希望对你的科研之路也能有一些帮助原创 2023-05-09 12:17:00 · 8107 阅读 · 7 评论 -
自行更换内存条的操作规范
## 2.3、更换内存条前的注意事项1、除掉你身上的静电 - 戴静电手套,静电环(有条件的话) - 洗手,触摸下金属水龙头,或者厨房的金属厨具 - 光脚踩在地面 2、笔记本关闭电源,断电操作,拆下电池 3、记住不要用手去触摸裸露在外的金属结点# 3、安装内存条使用商家发来的小工具把笔记本后盖的螺丝全部拆卸下,抠开后盖(注意下手法,应该比较紧,难抠开,在确保所有的螺丝拆下的情况下,别损坏了内部原件).........原创 2022-08-14 16:10:16 · 7597 阅读 · 1 评论 -
大数据Hadoop实战篇
大数据Hadoop实战,10分钟带你入门Hadoop,手把手教你搭建分布式集群系统原创 2022-06-04 15:02:04 · 7629 阅读 · 0 评论 -
深度学习之目标检测--Pytorch实战
只需要能看懂python代码,就能最快入门深度学习---目标检测。目标检测简单的玩玩儿还行,模型调优,调参,还需要一定的数学功底。通过代码来实现卷积,池化,非线性激活,正则化,归一化,能让人减少对大量数学公式的敬畏,手写神经网络也是考研复试中上机考试的压轴题,掌握搭建神经网络和如何训练模型是需要掌握的基础的原创 2022-01-18 00:38:11 · 9277 阅读 · 1 评论 -
基于微信小程序的线上点餐平台
前端采用Vue框架+后端SpringBoot原创 2022-06-01 10:43:32 · 6263 阅读 · 7 评论 -
Windows上的实用CMD命令
Windows上的实用CMD命令原创 2022-11-07 13:00:46 · 36501 阅读 · 22 评论