First 1-CSDN博客

原创应用系统开发总结2

rel：表示“关系 (relationship) ”，属性值指链接方式与包含它的文档之间的关系，引入css文件固定值为stylesheet。清除两侧浮动，此元素不再收浮动元素布局影响。nav 导航元素表示导航链接常见于网站的菜单，目录和索引等，可以嵌套在header中。变量：根据占储存空间大小不同，是根据右边的数据来定义类型的，而且可以变类型。字符串和变量拼接，除变量不加引号，其他加，用加号连接。目的，使用范围，参考依据，图元和编码约束，导读说明。项目背景，项目范围，项目目标。

2023-04-29 09:25:20 88 2

原创【无标题】系统需求分析

1.提高模块独立性 2.适中不大不小3.深度（指模块的总长值），宽度，扇出和扇入应适当。数据流图（DFD）是一种图形化技术，它描绘信息流和数据流从输入移动到输出的过程。根据启发的要求来开发模块分模块来写，模块与模块间功能模块是最理想化，独立的模块。中所经受的变换数据的源点/终点（正方形/立方形）数据处理（圆角矩形）总结：先抽象分析-再逐步求精-建立模型（E-R图）模型中有数据，功能，行为。三.数据字典：系统当中所有数据元素定义的集合。内聚模块元素与模块元素之间的联系。耦合模块与模块之间的联系。

2023-04-27 23:29:41 173

原创总结3.26

Redis 三个特点: Redis 支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候,可以再次加载进行使用;前者是日志存放文件夹，后者是zookeeper连接地址log.dirs=/usr/local/src/kafka/kafka_datakafka数据的存放地址，多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户行为产生的数据)。安装zookeeper。

2023-03-26 23:37:41 88

原创 kafka消费数据3.25总结

基于Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中，并在HBase中进行备份同时建立Hive外表、HBase、Hive、ClickHouse、Redis等相关操作。1.使用flink消费kafka中的数据并统计实时营业额存入到redis中。使生效命令:source /etc/profile。配置环境变量命令:vi /etc/profile。2.kafka中需要依赖包，所以建kafka工程。先解压再配置环境变量使环境变量生效。

2023-03-25 22:36:43 410

原创 3.24总结

1.kafka相当于一个容器工具，所有的信息都在里面，在kafka中有不同的topic也就是主题，然后把这些分成不同的片，就有docker出现。然后消息就相当于数据库中的一条条数据，然后有消息生产者和消息消费者。2.所有我们需要建端口号和kafka收集hive中的数据，hive连接sql数据库，需要初始化hive。3.kafka消费数据要上传到HDFS中。

2023-03-24 23:36:31 96

原创 3.22总结

要在Hadoop集群启动要在etc/profile下配置Java的路径Hadoop_home路径以及Hadoop_conf_dir等。3.启动spark在sbin目录下启动 ./start-all.sh。2.使环境变量生效 source /etc/profile。1.先安装Scala 解压tar -zxvf -C。在sbin目录下./stop-all.sh。安装spark on yarn。4.进入spark shell。

2023-03-22 23:44:37 67

原创总结3.21

安装JDK 解压tar -zxvf 文件名 -C /usr/local/src/在HDFS中主要有NameNode DataNode secondarynode。命令:sbin/hadoop-daemon.sh start datanode。同理 sbin/hadoop-daemon.sh start namenode。安装Hadoop 先解压再配置环境变量和配置文件。它们在不同的客户机中需要在配置文件中配置实现集群。配置环境变 vi /etc/profile。3.在core-site.xml。

2023-03-21 23:32:05 48

原创 3.20总结

命令tar -zxvf 文件包－C ／usr/local/srv/命令tar -zxvf 文件包－C ／usr/local/srv/4.先启动zookeeper，再启动kafka。zookeeper安装才能启动kafka。安装spark要先安装Scala。

2023-03-20 22:58:30 83

原创学习总结3.19

1.安装Hadoop集群中4个配置文件的标签不能错，要在英文状态下输入不然会出现这种情况。解压Scala后配置文件etc/profile然后使配置的环境变量生效。配置环境变量中有Java的位置Hadoop的位置需要设置清楚。start-master.sh在sbin下面启动。2.安装spark之前先安装Scala。先解压至/usr/local/src/命令如下./start-all.sh。有版本显示说明安装成功。启动spark的主节点。

2023-03-19 22:18:30 39

m0_67994850的博客