- 博客(20)
- 收藏
- 关注
RSS订阅原创 传统企业数据管理系统
MES系统是一套面向制造企业车间执行层的生产信息化管理系统，MES可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块，为企业打造一个扎实、可靠、全面、可行的制造协同管理平台。：CRM系统是企业用于对客户进行跟踪，分析和管理的系统，以增加企业和客户间的互动和联系，提高企业和客户间的互信，从而实现企业的业务目标。
2023-10-07 09:21:31
122
原创 企业数字化转型之数据管理驾驶舱的基本概念
数据管理驾驶舱换句话说就是数据可视化平台，是一款为企业内部领导或者高管提供的数据分析可视化框架，是企业数字化建设的内容之一，是数据分析的主要表现形式。
2023-10-07 08:39:13
379
原创 python之any()和all()
any()：“有‘真’为True，全‘假’为False，iterable为空是False”all()：“有‘假’为False，全‘真’为True，iterable为空是True”
2023-02-01 16:41:22
120
原创 大数据技术生态体系
（8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。（2）Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据。
2022-09-07 00:57:51
225
原创 大数据技术之Hadoop(HDFS, Hadoop Distributed File System)
随着智能时代的到来，企业能得到的数据量也越来越大，一个操作系统难以存下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是这种情况不方便企业管理和维护，迫切的需要一种系统来管理多台机器上的文件，因此就诞生了。，HDFS就是分布式文件管理系统的一种，其他常见的分布式文件管理系统还有GFS（Google File System), TFS(Taobao File System), Lustre, MooseFS等。（文件上传HDFS的时候，Client将文件切分成一个一个的Block,然后进行上传）；
2022-09-06 23:32:45
499
原创 推荐系统（1）
推荐系统的目的让用户更快更好的获取到自己需要的内容让内容更快更好的推送到喜欢它的用户手中让网站（平台）更有效的保留用户资源好的推荐系统让三方共赢推荐系统的应用个性化音乐电子商务：国内：淘宝，京东，国际：亚马逊（亚马逊总销售额的百分之二十到三十的利润几乎来自于推荐系统）电影视频社交网络：国内：微博 国际：Facebook个性化阅读：国内：今日头条，国际：谷歌新闻位置服务个性化邮件个性化广告个性化旅游证券，理财推荐系统的基本思想利用用户和物品的特征信息，给用户推荐那
2021-10-22 20:20:34
116
原创 oracle系统进程和作用
oracle系统进程和作用数据写进程（dbwr):负责将更改的数据从数据库缓冲区高速缓存写入数据文件。日志写进程（lgwr):将重做日志缓冲区中的更改写入在线重做日志文件。系统监控（smon):检查数据库的一致性如有必要还会在数据库打开时启动数据库的恢复。进程监控（pmon):负责在一个oracle进程失败时清理资源。检查点进程（chpt):负责在每当缓冲区高速缓存中的更改永久地记录在数据库中时，更新控制文件和数据文件中的数据库状态信息。归档进程（arcn):在每次日志切换时把已满的日志组进行
2021-05-13 20:31:11
331
1
原创 MySQL 事务
MySQL 事务MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你既需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务。事务处理可以用来维护数据库的完整性，保证成批的 SQL 语句要么全部执行，要么全部不执行。一般来说，事务是必须满足4个条件（ACID）：：原子性（Atomicity，或称不可分割性）、一致
2021-05-13 20:09:20
99
原创 数据库的三级模式
**数据库的三级模式结构指数据库系统由外模式，模式和内模式三级构成**外模式 也称子模式或用户模式，它是数据库用户能够看见的和使用的局部数据的逻辑结构和特征的描述，是数据库用户的数据视图，是与某一应用有关的数据的逻辑的表示。外模式是从模式导出的一个子集，包含模式中允许特定用户使用的那部分数据。用户可以通过外模式描述语言来描述、定义对应于用户的数据记录，也可以利用数据操纵语言(Data Manipulation Language，DML)对这些数据记录进行处理。模式也称逻辑模式，是数据库中全体数据的逻
2021-05-13 19:44:21
1015
原创 共享锁和排他锁
如果事务T对数据A加上共享锁后，则其他事务只能对A再加共享锁，不能加排他锁。获准共享锁的事务只能读取数据，不能修改数据。如果事务T对数据A加上排他锁后，则其他事务不能再对A加任何类型的封锁。获准排他锁的事务既能读数据，又能修改数据。...
2021-05-13 19:22:26
713
原创 HDFS读写流程
HDFS读写流程读流程客户端通过Distributed FileSystem 向NameNode请求下载文件，NameNode通过查询元数据，找到文件所在的DataNode地址。2.挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。DataNode开始传输数据给客户端(从磁盘里读取数据输入流，以packet为单位来做校验)。客户端以packet为单位接收，现在本地缓存，然后写入目标文件。功能快捷键客户端通过Distributed FileSystem 模块向NameNo
2021-05-12 23:07:04
114
原创 启动beeline客户端报错
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: atguigu is
2021-05-06 00:18:04
567
原创 jps命令没有namenode如何解决？
格式化NameNode注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往的数据。如果集群在运行的过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除集群中所有机器的data和logs目录，然后再进行格式化。格式化命令：hdfs namenode -format...
2021-05-05 23:39:54
4092
原创 Hadoop3.X Container is running 244472320B beyond the ‘VIRTUAL‘ memory limit. 解决方法
**Hadoop3.X Container is running 244472320B beyond the ‘VIRTUAL’ memory limit. 解决方法**在做WordCount案例实操的时候遇到如下的问题（本地打包maven工程提交到集群测试）*Container [pid=8331,containerID=container_1619160091528_0002_01_000006] is running 261372416B beyond the ‘VIRTUAL’ memor
2021-04-23 17:03:57
1459
2
原创 使用print时出错 SyntaxError: Missing parentheses in call to ‘print‘ Did you mean print(““)
使用print时出错 SyntaxError: Missing parentheses in call to ‘print’ Did you mean print("")错误原因 ：python3 中的 print 是一个内置函数， 而 python2 中的 print是一个语法结构 ，因此，python3 在打印时需要 加（），而 python2 打印时不需要加（）。比如：python2.x:print “今天是2020年7月29号”python3.x:print(“今天是2020年7月29号
2020-07-29 20:34:22
39561
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人