自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

LiuSong的博客

big data student notes

  • 博客(27)
  • 收藏
  • 关注

原创 毕业设计--智能智造协同管理平台

一、项目背景随着工业4.0不断的发展和互联网技术的普及,工业领域在不同标准下对工艺、流程化和自动化的需求越来越紧迫。在管理模式上要适应新的特点和新的模式前提下。为了满足各行业对管理一体化、对物资采购流程化的追求。Panda智能制造协同共享平台将采用线上智能管理模式,使物资采购流程清晰化、透明化、效率化。让物资需求计划生成到采购订单完成的整个过程中各个岗位职更明确、提高工作效率、订单可追溯、以便于管理和审查。同时本平台还具有良好的可扩展性,满足不同用户的需求。二、项目意义企业提升自身的竞争优势最大

2022-04-01 10:08:23 2097

原创 数据结构与算法----归并排序与快速排序(Python版)

一、归并排序Merge Sort❖下面我们来看看分治策略在排序中的应用❖归并排序是递归算法,思路是将数据表持续分裂为两半,对两半分别进行归并排序递归的基本结束条件是:数据表仅有1个数据项,自然是排好序的;缩小规模:将数据表分裂为相等的两半,规模减为原来的二分之一;调用自身:将两半分别调用自身排序,然后将分别排好序的两半进行归并,得到排好序的数据表源码:def m...

2020-03-21 13:37:55 342

原创 数据结构与算法----插入排序与Shell排序(Python版)

一、插入排序Insertion Sort❖插入排序时间复杂度仍然是O(n2),但算法思路与冒泡排序、选择排序不同❖插入排序维持一个已排好序的子列表,其位置始终在列表的前部,然后逐步扩大这个子列表直到全表❖第1趟,子列表仅包含第1个数据项,将第2个数据项作为“新项”插入到子列表的合适位置中,这样已排序的子列表就包含了2个数据项❖第2趟,再继续将第3个数据项跟前2个数据项比对,并移动比...

2020-03-20 23:57:27 330

原创 数据结构预算法----冒泡排序与选择排序(Python版)

冒泡排序Bubble Sort❖冒泡排序的算法思路在于对无序表进行多趟比较交换,❖每趟包括了多次两两相邻比较,并将逆序的数据项互换位置,最终能将本趟的最大项就位❖经过n-1趟比较交换,实现整表排序❖每趟的过程类似于“气泡”在水中不断上浮到水面的经过❖第1趟比较交换,共有n-1对相邻数据进行比较一旦经过最大项,则最大项会一路交换到达最后一项❖第2趟比较交换时,最大项已经就...

2020-03-20 22:31:03 248

原创 数据结构与算法----二分查找(Python版)

❖在顺序查找中,如果第1个数据项不匹配查找项的话,那最多还有n-1个待比对的数据项❖那么,有没有方法能利用有序表的特性,迅速缩小待比对数据项的范围呢?❖我们从列表中间开始比对!如果列表中间的项匹配查找项,则查找结束如果不匹配,那么就有两种情况:• 列表中间项比查找项大,那么查找项只可能出现在前半部分• 列表中间项比查找项小,那么查找项只可能出现在后半部分无论如何,我们都会将...

2020-03-19 22:52:56 360

原创 数据结构与算法----顺序查找(Python版)

一、顺序查找Sequential Search❖如果数据项保存在如列表这样的集合中,我们会称这些数据项具有线性或者顺序关系。❖在Python List中,这些数据项的存储位置称为下标(index),这些下标都是有序的整数。❖通过下标,我们就可以按照顺序来访问和查找数据项,这种技术称为“顺序查找”❖要确定列表中是否存在需要查找的数据项首先从列表的第1个数据项开始,按照下标增长的顺...

2020-03-19 22:09:48 1357

原创 数据结构与算法----递归算法(Python版)

一、整数转换为任意进制❖我们用最熟悉的十进制分析下这个问题十进制有十个不同符号:convString ="0123456789"比十小的整数,转换成十进制,直接查表就可以了:convString[n]想办法把比十大的整数,拆成一系列比十小的整数,逐个查表,比如七百六十九,拆成七、六、九,查表得到769就可以了❖所以,在递归三定律里,我们找到了“基本结束条件”,就是小于十...

2020-03-19 21:46:02 292

原创 多个XML文件合并并转换为TXT文件

一、通过网络爬虫从网上撸到xml小文件,现将文件合并并转换为txt文件。#coding=utf-8import osfrom bs4 import BeautifulSoup#1、放xml文件的文件夹路径filePath = "G:\\DataCenter\\stoke_critic_data\\"#2获取文件夹下的所以文件目录files = os.listdir(path ...

2020-03-17 22:10:28 980

原创 机器学习--协同过滤实验及源码(Python版)

【实验目的】1.掌握协同过滤算法的原理。2.掌握相似度算法。3.掌握使用Python代码实现协同过滤算法。【实验原理】算法简介协同过滤(Collaborative Filtering,简称CF),协同过滤算法的原理是汇总所有<user,item>的行为对, 利用集体智慧做推荐。其原理很像朋友推荐, 比如通过对用户喜欢的item进行分析, 发现用户A和用户B...

2020-03-15 21:09:50 1915

原创 机器学习--决策树实验及源码(Python版)

【实验原理】决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法ID3,...

2020-03-14 20:41:31 4619 2

原创 Python小游戏之“读心术”

读心术:猜数字游戏 〉 一款经典的猜数字AI:用户先随机在 0-1000之间随意写一个数字,AI开 始猜,如果猜的数大了,用户就说大 了,反之,则说小了。算法:二分查找〉 从中间的数开始,如果猜中则结束〉 如结果大于或者小于中间的数,则在 剩下大于或小于中间的数的那一半中 查找〉 每一次比较都使搜索范围缩小一半import randomimport sysde...

2020-02-22 16:39:16 4432

原创 python爬取图片与爬取网络小说实例

一、爬取网络图片存入本地文件from bs4 import BeautifulSoupimport requestsimport sysimport reimport sslname = 0def get_content(url, headers): ssl._create_default_https_context = ssl._create_unverified_cont...

2020-02-21 13:48:29 330 1

原创 Python网络爬虫爬取豆瓣电影的数据

一、豆瓣电影的数据是动态加载,所以要用到json解析https://movie.douban.com/typeranktype_name=%E5%89%A7%E6%83%85&type=11&interval_id=100:90&action=为例子用火狐浏览器打开完成第四步就获取到请求动态数据的json请求地址,在执行第三步时,你会发现你点击不同的url地址,消息头...

2020-02-21 13:43:24 5358

原创 机器学习复习模拟题

Q1. 在回归模型中,下列哪一项在权衡欠拟合(under-fitting)和过拟合(over-fitting)中影响最大?A. 多项式阶数B. 更新权重 w 时,使用的是矩阵求逆还是梯度下降C. 使用常数项答案:A解析:选择合适的多项式阶数非常重要。如果阶数过大,模型就会更加复杂,容易发生过拟合;如果阶数较小,模型就会过于简单,容易发生欠拟合。如果有对过拟合和欠拟合概念不清楚的,Q2关...

2020-02-21 13:04:53 78453 1

原创 机器学习期末复习笔记

一、L1( Lasso回归)、L2(岭回归)正则异同区别:1:下降的速度L1,L2都是规则化的方式,最小化目标函数,类似于一个下坡的过程,所以它们下降的坡不同,L1是按照绝对值函数下坡,L2是按照二次函数下坡,在0附近,L1的速度更快。2:模型空间的限制L1会将模型限制一个正方形区域,L2将模型限制在一个圆的区域,二维情况如图所示:总结就是L1会使得某些参数为0,具有稀疏性,而L2没...

2020-02-21 12:54:50 6888

原创 Sqoop部署到Linux的步骤及其操作

主要内容:一、sqoop概念 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第...

2019-05-28 22:48:32 1035

原创 Flume的详细图解(Flume的概述)

一、定义:(1)Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。( 2)Flume官网地址:http://flume.apache.org/(3)文档查看地址:http://flume.apache...

2019-04-15 22:02:50 502

原创 Shuffle在MapReduce中低层原理的详细介绍

Shuffle详细介绍一、定义:Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。二、体系结构:1、source 源头–>数据源–>HDFS2、channel 管道---->数据缓存通道-...

2019-04-15 16:36:39 236

原创 图像灰度转换,灰度降低70%,调整对比亮度

(2)图像灰度变换。读入lena_gray.tif文件,对其灰度进行下列调整,并显示图像;将图像的灰度降低70%,同屏显示原图和灰度调整后的图像;将灰度加上一个值(如50),使图像变亮,编程,同屏显示原图像和灰度调整后图像。知识点一:Mat dstdst = Mat::zeros(src1.size(),src1.type()); 创建一张与原图像src1大小类型一样的空白图像,像素值初...

2019-03-31 14:14:19 6790

原创 VS+opencv图像转换

灰度图的灰度值范围一般从0到255,白色为255,黑色为0,故黑白图片也称灰度图像。灰度变化是所有图像处理技术中最简单的技术。r和s分别代表处理前后的像素值。得到灰度级为[0,L-1]的一副反转图像。反转图像由下式:S=L-1-r变换公式可表示为:s=255-1-r;#include <opencv2/highgui/highgui.hpp> using namespa...

2019-03-31 12:42:42 544

原创 VS+opencv对图像进行直方图均衡

(1)直方图均衡。读入lena_gray.tif图像文件,画出其直方图,并解释之;对图像进行直方均衡,显示均衡后的图像及其直方图,并解释之;将均衡后的图像存为lena_gray_1.tif文件。再将lena_gray_1文件读入并重复上述过程,说明图像增强效果并解释之。#include <opencv2/opencv.hpp> #include<iostre...

2019-03-31 11:50:07 2122 1

原创 hadoop的伪分布环境下统计不同部门员工工资的总额,使用MapReduce来实现的详细步骤

实验三:要求请按照部门号,统计不同部门员工工资的总额,使用MapReduce来实现该实验。实验数据如下:在eclipce里面编辑好Hadoop代码打成jar到本地,然后上传到hdfs上,建议上传到[root@WFB ~]# cd /training/hadoop-2.7.3/etc/hadoop/目录下package com.liusong.MR;import org.apache...

2019-03-30 14:12:16 1560

原创 多言统计及R语言建模按组距为300编制频数表,计算频数,频率和累积频率表,并绘制直方图

按组距为300编制频数表,计算频数,频率和累积频率表,并绘制直方图某厂对50个计件工人某月份工资进行登记,获得以下原始资料(单位:元)试按组距为300编制频数表,计算频数,频率和累积频率表,并绘制直方图。要求写出用R语言进行基本统计的程序(数据可以从mvexec4.xls中获得)。 获取数据的变量名和数据的长度如何求频数小写x是excel中研究数据的变量名 names(x) [1]...

2019-03-15 23:45:19 16072

原创 Rstudio中读取Excel中数据的详细步骤。

简述R语言读取Excel中数据的步骤。代码命令行操作 A、先安装xlsx的包library(xlsx)table_test1 &lt;- read.xlsx(“G:/R/mvstats4.xls”,1, encoding=“UTF-8”)方法二 :图形化界面操作第一步:第二步:第三步:第四步:结果:...

2019-03-15 20:29:07 56672 5

原创 数据矩阵及R语言的表示

1、创建一个向量(随机向量,一维数组)函数 c ()创建向量;函数 length()返回向量长度;函数 mode()返回向量的数据类型;x1=c(171,175,152,184,165,172,153,165,182,175,168,169)length(x1)[1] 12mode(x1)[1] “numeric”2、创建一个矩阵(二维数组)(1)合并命令,可以用rb...

2019-03-14 18:47:31 12251

原创 VS+OpenCV实现图像读取,格式化转换,储存、摄像头获取图片等操作

文章主要内容实现(1)在Windows下搭建VS+OpenCV平台。(2)实现图像读取,格式化转换,储存等操作。(3)实现图像感兴趣的区域截取。(4)读取并输出某个像素点的RGB数据。(5)能使用摄像头获取图片。1.在Windows下搭建VS+OpenCV平台:(2)实现图像读取,格式化转换,储存等操作:(3)实现图像感兴趣的区域截取。(4)读取并输出某个像素点的R...

2019-03-14 11:53:05 10995 10

原创 Linux环境下vi编辑C语言代码、调试、运行步骤

实验1《Linux环境下vi编辑代码》实验学时: 2 实验地点: 6501 实验日期: 2019.3.13一、实验目的(1)能使用常用的linux命令,熟悉linux使用环境(2了解Linux主要目录内容。(3)掌握在linux环境下开发C程序的一般流程。(4)学会利用vi编辑器来编辑、gcc编译、gdb调试C程序。二、实验内容...

2019-03-14 11:22:25 27787 3

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除