- 博客(29)
- 收藏
- 关注
RSS订阅原创 数据导入与预处理——综合实验：网络招聘信息ETL自动化工程
为了分析国内就业形势，指导毕业生求职，学校准备建立一个招聘信息发布平台。该平台设计从网络定期采集招聘网站信息并通过ETL工程完成数据自动化导入，ETL部分设计如下：你需要通过Kettle创建一个ETL工程，完成从对原始数据文件的导入和预处理，实现以下数据需求：1.数据转换要求2.数据输出要求（1）将大数据相关的职位信息以XML(.xml)文件格式导出。XML文件结构如下：（2）将重庆招聘单位及其福利待遇信息以JSON(.json)文件格式导出。JSON文件结构如下：（3）将原始数据全部字段存入MyS
2022-12-05 19:22:04
3731
8
原创 python入门到精通 _7异常、模块与包
模块就是一个Python文件，里面有类、函数、变量等，我们可以拿过来用（导入模块去使用）from 模块名 import 模块名 as 名字模块名 . 功能名()常用的组合形式如：import 模块名from 模块名 import 类、变量、方法等from 模块名 import *import 模块名 as 别名from 模块名 import 功能名 as 别名案例：导入time模块。
2022-11-13 17:10:48
1117
原创 python入门到精通 _6文件读写
人生的道路是漫长的，如果你只会一味的感伤失去，那么你将一无所有，只有有能力去享受失去的乐趣的人，才能真正品尝到人生的幸福。通过Windows的文本编辑器软件，将如下内容，复制并保存到：word.txt，文件可以存储在任意位置。num表示要从文件中读取的数据的长度，如果没有传入num，那么就表示读取文件中所有的数据。让自己承受失去的东西，也许你会感到很痛苦，那也要自己去承受，别人是代替不了你的。过后，你的世界就会充满了阳光。同时也需要编码， 将计算机保存的0和1，反向翻译回可以识别的内容。
2022-11-13 17:10:47
1572
原创 python入门到精通 _5数据容器（list、tuple、str、set、dict）
基本语法# 定义变量 变量名称 = [ 元素 1 , 元素 2 , 元素 3 , . . . . ] # 空列表 变量名称 = [ ] 变量名称 = list()元素的数据类型没有任何限制，甚至元素也可以是列表，这样就定义了嵌套列表my_list = [ [ 1 , 2 , 3 ] , [ 4 , 5 , 6 ] ] print(f"列表为： {my_list } ,数据类型为： {{my_list = [ [ 1 , 2 , 3 ] , [ 4 , 5 , 6 ] ] print(f"列表为： {
2022-11-13 17:10:21
1647
原创 python入门到精通 _4 def初识函数及进阶
# 函数的声明 def 函数名() : 函数体 return 返回值 ## 函数的调用 函数名(参数)函数使用步骤:先定义函数后调用函数注意：① 参数如不需要，可以省略（后续章节讲解）② 返回值如不需要，可以省略（后续章节讲解）③ 函数必须先定义后使用。
2022-11-13 17:09:57
1079
原创 python入门到精通 _2 基础语法
5d：表示将整数的宽度控制在5位，如数字11，被设置为5d，就会变成：[空格][空格][空格]11，用三个空格补足宽度。注释不是程序，不能被执行，只是对程序代码进行解释说明，让别人可以看懂程序代码的作用，能够大大增强程序的可读性。%.2f：表示不限制宽度，只设置小数点精度为2，如11.345设置%.2f后，结果是11.35。m，控制宽度，要求是数字（很少使用）,设置的宽度小于数字自身，不生效。所以，变量的特征就是，变量存储的数据，是可以发生改变的。.n，控制小数点精度，要求是数字，会进行小数的四舍五入。
2022-11-13 17:09:44
689
原创 python入门到精通 _3 判断循环语句
设置一个范围1-100的随机整数变量，通过while循环，配合input语句，判断输入的数字是否等于随机数。同样，在程序中，进行逻辑判断也是最为基础的功能。领工资时，财务判断员工的绩效分（1-10）（随机生成），如果低于5，不发工资，换下一位。循环普遍存在于日常生活中，同样，在程序中，循环功能也是至关重要的基础功能。员工编号从1到20，从编号1开始，依次领取工资，每人可领取1000元。同while循环不同，for循环是无法定义循环条件的。while循环的循环条件是自定义的，自行控制循环条件。
2022-11-13 17:09:43
1656
原创 python入门到精通_1你好python
在插件模块plugins中搜索chinese，点击下载install。然后就可以在里面添加修改了。完成后就成功了，在pycharm就可以使用翻译。
2022-11-13 17:09:32
220
原创 数据导入与预处理——实验二：字段清洗
1.某公司需要将各地分公司的客户信息进行汇总，现在已经搜集到两个分公司的客户两个文件的格式一致，包含以下字段："customer_id"： 客户号"first_name"： 客户名"last_name"： 客户姓"email"： 客户电邮地址"postal_code"：客户邮编"addressinfo"：客户地址 （地址格式：stree;district;city;country）"phone"： 客户电话"create_date"： 客户信息创建时间
2022-11-03 20:18:15
2868
3
原创 分布式数据库——mongoDB实验一（增删改查）
1. 创建MongoDB数据库实验环境要求：- 服务器地址：localhost（127.0.0.1）- 服务端口：27027- 存储目录命名：你的姓名拼音首字母- 日志文件：放在存储目录下，以mongod.log命名
2022-11-01 15:32:26
736
原创 mongoDB——shell基本命令
文档记录{“lastname”:“Tan”, “firstname”:“Guangyu”}到集合mycollection：insertone。文档的基本结构：{ < key > : < value>, < key> : {< value>}, …注意：db.collection中，collection为你要操作的集合的名称。键的数据类型：UTF-8字符，可以用”“引起来，如”name“值< value>的数据类型：MongoDB支持的任意数据类型。(4) 避免同一个{}中使用重复的。
2022-10-23 10:57:32
3594
原创 数据导入与预处理——实验一：数据导入与导出
掌握使用Kettle进行数据导入与导出的方法计算机、Kettle（PDI）、MySQL数据库某连锁超市为了优化经营管理，拟搭建一个商务智能系统，来帮助企业管理团队更全面、专业的通过数据了解业务况状。目前公司有一个订单数据库，记录了每一笔订单的详细数据，包括以下字段：【字段名称,订单编号,下单日期,销售点,支付方式,发货日期,物流时限,客户编号,客户名称,客户类型,客户城市,客户省份,客户地区,产品编号,产品名称,产品分类,产品细类,金额,数量,折扣,利润,推销员,是否退货,财政年度】
2022-10-11 22:41:29
2795
1
原创 分布式数据库——mongoDB初识及安装
输入安装路径（路径中不得包含中文、空格、特殊字符等，安装路径：C:\MongoDB）D盘也可以。并修改文件名字（方便）。我的路径：C:\MongoDB\mongodb-4。如不能查看到版本号，命令找不到，需要检查环境变量是否设置正确，或解压文件是否存在。在环境变量设置页面，找到并选中”系统变量“:”Path“，点击”编辑“验证MongoDB环境变量是否设置正确。C:\data\db 新建文件夹，命名为”db“。在cmd命令行中，输入mongo启动。查看数据库：show dbs。如正确执行无错误信息。
2022-10-11 11:44:53
519
原创 matlab-基础常识
size(A)函数是用来求矩阵A的大小的,它返回一个行向量，第一个元素是矩阵的行数，第二个元素是矩阵的列数。B = repmat(A,m,n):将矩阵A复制m×n块，即把A作为B的元素，B由m×n个A平铺而成。find函数，它可以用来返回向量或者矩阵中不为0的元素的位置索引（下标）。在Matlab中，计算矩阵A的特征值和特征向量的函数是eig(A)(2)多行注释:选中要注释的若干语句,快捷键Ctrl+R。**注：**代码开头，都会见到:clear;(2)矩阵，按照列求和，（默认）得到的是一个行向量。
2022-09-24 22:01:39
667
原创 数据导入与预处理——1.初步熟悉kettle-Spoon
实际的工作中，在"跳"的中间还有许多步骤需要进行处理。分发：把输入数据一条一条分给两个输出文件；出现两个选项：分发与复制。复制：把输入数据复制给两个输出文件。鼠标回到文件输入：继续双击输出步骤。在输出3、4里面都有两行完整数据。选择之后根据上述所讲进行配置。输入输出结果的读写分别存在。
2022-09-21 13:43:02
4028
原创 《数学建模与数学实验》第5版 统计分析 习题9.7
1. 回归分析1.1 考察温度x对产量y的影响，测得下列10组数据1.2 某零件上有一段曲线，为了在程序控制机床上加工这一零件，需要求这段曲线的解析表达式1.3 混凝土的抗压强度随养护时间的延长而增加2. 聚类分析为了得出 2007 年江苏省的13个地市的国民经济分布规律，在众多衡量经济水平的指标中我们将采用下列指标：3. 判别分析银行的贷款部门需要判别每个客户的信用好坏（是否未履行还贷责任），以决定是否给予贷款。......
2022-07-21 17:47:19
13429
12
原创 《数学建模与数学实验》第5版 数据的统计描述 习题8.7
1. 某校60名学生的一次考试成绩如下:(1).计算计算均值、标准差、极差、偏度、峰度，画出直方图；(2).检验分布的正态性；(3).若检验符合正态分布，估计正态分布的参数并检验参数。2. 科学上的重大发现往往是由年轻人作出的3. 设某产品的生产工艺发生了改变，在改变前后分别测得了若干产品的技术指标。4. 正常人的脉搏平均为72次/秒，测得10例慢性中毒者的脉搏5. 从某电工器材厂生产的一批保险丝中抽取10根6. 甲、乙两台机床生产同一型号的滚珠...
2022-07-18 16:57:23
8853
原创 《数学建模与数学实验》第5版 插值与拟合 习题7.6
1. 在化工生产中常需要知道丙烷在各种哦温度T和压力P下的导热系数K.2. 下表给出了某一海域的水深数据.3. 用给定的多项式，如$y=x^3-6x^2+5x-3$，产生一组数据(xi,yi，i=1,2,…,n),用xi和添加了随机干扰的yi作的3次多项式拟合，与原系数比较。4. 用电压V=10伏的电池给电容器充电，电容器上t时刻的电压为 $U(t)=U -(U-U_0)e^{-t/T}$5. 弹簧在力F的作用下伸长x...
2022-07-17 16:57:24
12680
4
原创 《数学建模与数学实验》第5版 网络优化 习题5.9
1. 某公司在六个城市$C_1,C_2,…,C_6$中都有分公司,从$C_i到C_j$的直接航程票价由下述矩阵的第(i,j)元素给出(∞表示无直达航班)2. 求图中每一结点到其他结点的最短路.3. 在一个城市交通系统中取出一段如下图所示, 其入口为顶点 v1, 出口为顶点 v8. 每条弧段旁的数字表示通过该路段所需的时间. 每次转弯需要附加时间为 3 秒.求 v1 到 v8 的最短时间路径.4. 有四个工件等待在同一台机器上加工，若加工的先后次序可以任意，各工件之间的调整时间如下表，试确定最优加工顺序
2022-07-14 16:21:36
11532
9
原创 《数学建模与数学实验》第5版 非线性规划 习题4.4
1. 一电路由三个电阻$R_1,R_2,R_3$并联，再与电阻$R_4$串联而成2. 炼油厂将A、B C三种原料加工成甲乙丙三种汽油。一桶原油加工成汽油的 费用为4元，每天至多能加工汽油14，000桶。3. 某厂向用户提供发动机，合同规定，第一、二、三季度末分别交货40台、60台、80台。每季度的生产费用为$f(x)=ax+bx^2(元)$,其中x是该季生产的台数。4. 钢管下料问题:某钢管零售商从钢管厂进货，将钢管按照顾客的要求切割出售。...
2022-07-12 19:42:55
16945
16
原创 《数学建模与数学实验》第5版 线性规划 习题3.4
1. 某鸡场有1000只鸡，用动物饲料和谷物混合喂养．2. 某工厂用A1，A2两台机床加工B1，B2，B3三种不同零件. 3. 某工厂利用两种原料甲、乙生产$A_1、A_2、A_3$三种产品.4. 每班的护士在值班开始时向病房报到，连续工作8个小时.5. 某工厂生产 A1 、A2 两种型号的产品6. 有两个煤厂A,B7. 某工厂制造三种产品，生产这三种产品需要三种资源8. 已知某工厂计划生产1，2，3三种产品，各产品需要在ABC设备加工。...
2022-07-11 21:50:54
24814
13
原创 《数学建模与数学实验》第5版 作图 习题2.6
1.编写m文件2. 用plot、fplot绘制函数y=cos(tan(pix))图形.3.用ezplot绘制函数exy -sin(x+y)=0在[-3，3]上图形.4. 用ezplot绘制摆线5. 用surf、mesh绘制曲面z=2x^2+y^26. 用polarplot绘制阿基米德线r =athetθ和三叶玫瑰线r=acos3θ.7. 在同一平面的两个窗口中分别画出心形线和马鞍面............
2022-07-01 19:07:02
14313
2
原创 R语言——（六）、线性回归模型
回归分析（regression analysis）是统计分析中最重要的思想之一被广泛应用于社会经济现象中变量之间的影响因素分析回归分为：线性回归、非线性回归例1：为了研究家庭月消费支出与月可支配收入之间的关系，可支配收入（income）：800,1100,1400,1700,2000,2300,2600,2900,3200,3500消费支出（consume）：594,638,1122,1155,1408,1595,1969,2078,2585,2530可以发现，income和consum之间具有较强的
2022-06-30 19:54:25
21644
1
原创 R语言——（五）、探索性数据分析
图形表示：（1）条形图（Barplot）：用于分类数据的探索性分析（2）直方图（Hist）、点图（Dotchart）、茎叶图（Stem）:用于观察数值型分布的形状。（3）箱线图（Boxplot）：给出数值型分布的汇总数据，适用于不同分布的比较，以及拖尾、截尾分布的识别。（4）正态概率图（Qqnorm）：用于观察数据是否近似地服从正态分布。getwd()获取当前路径例 从某大学统计系的学生中随机抽取24人， 对数学和统计学的考试成绩进行调查，调查数据如表所示，试对这些学生的数学和统计学成绩进行
2022-06-30 16:42:24
5820
原创 R语言——（四）、数据读入与预处理
数据读入方式：直接输入、外部数据读入c()函数方式输入scan()函数输入数据先安装scan包2.读R包中的数据2.1查看当前环境下的数据：ls()函数2.2删除数据: rm()函数2.3查看所有预先提供的数据：data()2.4查看某个包所有预先提供的数据：data(package=‘’)2.5读入数据：data(datasetname)2.6查看SemiPar包中的数据install.packages(SemiPar)data(package=“SemiPar”)读入SemiPa
2022-06-30 15:44:25
12052
2
原创 R语言——（三）、随机数与抽样模拟
文章目录前序r d p q一、一元随机数的产生1.均匀分布随机数runif2.正态分布随机数的产生rnorm3.指数分布随机数产生rexp4.二项分布随机数的产生rbinom二、多元随机数的产生mv，rm，pm1.多元正态分布随机数2.多元正态分布的累积概率、密度函数、分位数3.多元t分布随机数三、随机抽样sample1.放回与无放回抽样2.重抽样提示：以下是本篇文章正文内容，下面案例可供参考前序r d p q除了在分布函数名前面加’r’表示生成随机数外，还可以加“p,q,d”r- :表示生成相应分
2022-04-17 12:41:56
12003
原创 matlab-画图对坐标的显示
前言许多小朋友对于matlab画图函数再熟悉不过了，但是画图里面还有更细小的地方我们还得注意，对于坐标的显示也是我们在日常生活中常需要我们做的，下面我就将以一个例子1来说明在画图中显示坐标的两种形式。下面的数据取样格式为提示：以下是本篇文章正文内容，下面案例可供参考下面案列的整体做法步骤1.先创建几个空列表，用来容纳数据。2.读取数据。这里我们用到xlread（“表格地址”）3.进行plot画图。4.显示坐标值：str=num2str（）；text（x，y，str）5.title（）写
2022-04-13 17:06:44
18779
原创 R语言——（二）、函数与优化
文章目录一、常用的内置函数二、条件控制语句1.if/else 语句2.ifelse 语句3.switch 语句三、循环语句1. for 循环2. while 循环3. repeat 循环语句四、编写函数1. 函数名2.参数3. 函数体和函数返回值五、程序运行的时间与效率六、R求解优化问题1.一元函数优化求解2.多元函数的优化求解3.约束条件下的优化求解提示：以下是本篇文章正文内容，下面案例可供参考，以下纯属学习笔记。其中借助到了许多资料。书籍。一、常用的内置函数R里面有非常丰富的内置函数，保存在不同的
2022-04-13 16:01:17
2700
原创 R语言——（一）、数据结构与基本运算
下载应用可进入微信搜索“软件管家”，任何大部分软件齐全。下载奥rstudio后，发现界面的字体非常小。我们可以进行调整字体以及界面样式：进行调整就好啦！快捷键：1、数据类型1.1 数值型（numeric）为实数形式1.2 字符型（character）: 夹在双引号"“或单引号’'之间的字符串，如"MR”,“5”1.3 逻辑型（logical）:只能取T（TRUE）或F（FALSE）值1.4 复数型（complex）:形如a+bi形式的复数。1.5 原味（原始）型（raw）:以二进制形式保存的数
2022-04-02 19:14:24
3987
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人