- 博客(18)
- 收藏
- 关注
RSS订阅原创 多维数据分析
一、前言 在需求不具体的情况下，面对一堆杂乱的数据，我们该如何进行BI工程的建设呢？宏观上看，整个工程无非就是理解需求 -> 分门别类收集原材料 -> 对照需求，设计建模 -> 对照模型，开始工程；思路似乎很清晰，但是实际工作却极其繁琐，而且数据处理返工也是家常便饭，其中苦楚，恐怕也只有事中人才能体会。本人整理了最近的工作与相关文献资料，在进行复盘后，分享以下心得，鉴于涉猎有限，文章或有纰漏之处，恳请指出。 本文主要介绍了建立数据多维关系模型的相关理论，...
2024-07-10 16:13:30
1076
原创 SQL日常练习
1） 专用窗口函数，如rank, dense_rank, row_number等专用窗口函数。(unit,datetime_expr1,datetime_expr2)：可用来计算年龄。聚合函数、子查询、窗口函数、文本处理、 数字处理、日期处理、查询优化、数据关联后重复杂糅。2） 聚合函数，如sum. avg, count, max, min等。*练习题：8、9、10、11 (3月25日 做完50题))- 聚合函数（）over(partition by )先关注 要查询的表集合，再关注筛选字段和筛选条件。
2023-03-25 23:13:00
135
原创 项目管理-需求调研
一个项目 是否可以成功立项，前期的需求调研十分重要 ，这体现着项目的价值和可行性，因为需求代表着欲望，欲望不强烈 ，自然不会有人力和物力的投入。
2023-03-09 23:11:06
208
原创 论文周记9
BI的优势：现在的BI更适合被翻译成Business Information 而不是Business Intelligence数据孤岛的打通 自动化的数据采集 与处理流程报表开发效率的提升 更为先进的多维数据分析理念 信息呈现方式的多样化虽然传统BI与智能无多大关系，但大数据处理技术手段的多样化与AI（人工智能）技术的长足进步，使得建立一个真正能够模拟人类心智的数据分析体系成为可能。不过必须注意到，很多诸如自动化流程、高密度计算、条件触发逻辑等传统非AI方式均能完成的功能都被冠以...
2020-12-20 22:08:33
301
1
原创 论文周记7
2020 11 30 - 2020 12 061、这周主要任务都在找论文，找论文是个技术活（捂脸），看论文也是个套路活（捂脸）。总结下找论文和看论文的套路：先要从论文最大的主题出发，找最新综述（综述越新，涉及到的领域越多），或者找硕博毕业论文，一般毕业论文会有背景研究介绍，背景介绍会涉及这个领域的方方面面的技术，开始着手没头绪的时候，找硕博毕业论文可能是最好的方式，了解几篇后，会挖掘到几个热门的研究点，然后再依据挖掘到的热点（感兴趣的方向），按热点关键词去搜索对应综述，这些综述里面会更加详细地介
2020-12-06 22:37:31
254
原创 数据挖掘实践 —— OneR 分类算法
一条规则算法实现from sklearn.datasets import load_irisimport numpy as npfrom collections import defaultdictfrom operator import itemgetterdataset = load_iris() #导入数据x = dataset.data #x是样本数据，y是分类标签，0，1，2各50个，代表三种鸢尾花y = dataset.targetn_sample,n_feature
2020-11-26 09:00:05
500
原创 论文周记5
知识追踪：使用图神经网络对学生知识点熟练度建模计算机辅助教学系统的进步带来了知识追踪的研究工作增加，在这个平台上，学生的表现是随着时间逐渐被预测的，正确的预测能够帮助学生准确选择和现在认知水平相当的试题，这种电子学习平台可以帮助学生提高学习积极性，目前有不同的知识追踪的方法都有提出：DKT（使用了RNN模型），这个方法证明比之前的方法都要好，从数据结构的角度来看，课程学习也可以被建模成图模型，将熟练掌握一个知识概念，所需要掌握的知识点建模成图上的点，并且这些知识点之间是互相关联的。众所周知，将关于数据的
2020-11-22 19:30:00
249
1
原创 面向个性化学习的数据挖掘方法
2020 10面向个性化学习的数据挖掘方法，研究内容 1、练习深度表征方法及应用 2、动态认知诊断分析 3、个性化学习推荐策略（不光是知识点的匹配，还有学生试题体验度的考虑）即练习题、学习者、学习机制三方面的研究对于1来说，解决方法有基于语义理解的联系表征方法TACNN、针对逻辑练习题，有基于结构理解的练习表征NMS。练习题的特征有难度、区分度、知识范围等，如何对练习题目进行建模，计算机需要理解练习题的含义，进行有效的分析和表示对于2来说，解决方法有研究学习者在其学习过程中的动态认知诊断方法
2020-11-22 19:29:26
1068
1
翻译 基于图神经网络的知识追踪
github源码：https://github.com/jhljx/GKT知识追踪：使用图神经网络对学生知识点熟练度建模（将学生的知识点掌握程度基于时间进行建模）计算机辅助教学系统的进步带来了知识追踪的研究工作增加，在这个平台上，学生的表现是随着时间逐渐被预测的，正确的预测能够帮助学生准确选择和现在认知水平相当的试题，这种电子学习平台可以帮助学生提高学习积极性，目前有不同的知识追踪的方法都有提出：DKT（使用了RNN模型），这个方法证明比之前的方法都要好，从数据结构的角度来看，课程学习也可以被建模成
2020-11-22 19:27:32
4555
7
原创 论文周记4
PaperWithCode:https://www.paperswithcode.com/, 介绍：https://blog.csdn.net/Datawhale/article/details/108988986要看的论文：大规模数据集：https://www.paperswithcode.com/paper/ednet-a-large-scale-hierarchical-dataset-in# github:https://github.com/riiid/ednet学习和忘记...
2020-11-15 09:30:32
364
原创 论文周记3
降维：是将特征高度相关的维度降低到一个比较低的维度上，而不是省略特征，省略特征可能会导致错误的结果梯度下降：线性回归中用来找假设公式中的参数的，直观理解就是猜大了让变小，猜小了让变大，用的是梯度下降的方法（其实就是导数），让整个变化的过程以最快的速度进行神经网络的形象化理解，很好的解释：https://zhuanlan.zhihu.com/p/59678480 不要被复杂的神经网络图所迷惑，只是借助神经网络来形象化地描述整个计算过程，实际上就是用个函数来拟合所有的数据，神经网络层次越高，那么拟合数.
2020-11-08 00:40:33
334
原创 Python将Excel文件转换为json格式文件
import xlrd,jsondef read_xlsx_file(filename): # 打开Excel文件 data = xlrd.open_workbook(filename) # 读取第一个工作表 table = data.sheets()[0] # 统计行数 rows = table.nrows data = [] # 存放数据 for i in range(1, rows): values = table.
2020-11-02 16:09:53
5152
1
原创 论文周记2
这周主要从个性化学习的数据挖掘方法的研究三大类进行梳理，1.练习深度表征方法及应用，针对在线学习系统中的练习题对象，分别从语义和结构两个方面研究练习题深度表征方法，从而评估质量2.认知诊断分析（主要是动态认知诊断分析）3.个性化学习推荐策略 ，不光是知识点的匹配，还有学生试题体验度的考虑，试题推荐的难度要适中，并且能调动学生的学习积极性内容很多，没有全部梳理完（等全部整理完，附上链接）这周还完成了数据挖掘算法的K-Means算法（同样有时间整理附上链接）纠正一个概念，无监督算法.
2020-11-02 08:56:35
228
原创 论文周记
2020 10 258月到10月初大致了解了下智慧教育的研究方向和内容，对于研究生阶段要做的事情有了一个笼统的概念，这段时间主要研读了由中国科学技术大学陈恩红、刘淇团队完成，被AAAI-20录用的论文《Neural Cognitive Diagnosis for Intelligent Education Systems》《Neural Cognitive Diagnosis for Intelligent Education Systems》，结合论文需求，把吴恩达的机器学习视频刷了一遍，不过第一次这
2020-10-25 22:15:08
533
原创 SQLSever 导入sql文件太大，出现 system.outofmemory错误
原因：用于读取数据的内存不够解决：用命令行导入的方式，使用微软自带的sqlcmd工具cd C:\Program Files\Microsoft SQL Server\100\Tools\Binn （具体目录路径跟你安装的SQL位置有关）sqlcmd -S localhost -U username -P 123456 -d dbname -i db.sql( 参数说明：-S 服务器地址 -U 用户名 -P 密码 -d 数据库名称 -i 脚本文件路径,把脚本文件拷贝到此目录，就只用写文件名，.
2020-05-10 22:48:37
2122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人