![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习
查理忙果
这个作者很懒,什么都没留下…
展开
-
数据集市处理逻辑
一、I层1、ETL抽取方式直联外围系统数据库通过FTP读写文件2、抽取数据有更新标识:抽取更新的增量数据无更新标识:抽取全量或指定范围的数据(比如一段时间内)3、生成CSV文件每日抽取,根据抽取的数据,生成CSV文件文件通常保留7日二、O层1、标识与前一此抽取的数据对比(两个CSV文件对比)在CSV文件后增量两列更新标识:更新时间、更新动作(新增/删除/修改)2、入库清空存量数据根据前一步的对比情况,插入正能量数据数据通常保留1日三、原创 2021-05-06 17:03:23 · 449 阅读 · 1 评论 -
消息队列MQ有什么用
消息队列的本质消息队列实质为“先进先出”的数据结构解决的问题1、系统解耦、消息分发1.传统方式:每增加一个消费者,生产者都需要修改代码,调用新的接口;2.消息队列:增加的消费者只需要监听自己关注的消息队列即可。2、异步消息1.传统方式a.A给B发送消息,如果B接收/处理消息时间较长,则需要A不停的轮训B是否接收并处理完毕b.A通过API给B发消息,B调用A的callback API告诉A已接收并处理完毕2.消息队列a.A给B发送消息b.A不用一直等待B的回执原创 2021-03-18 16:55:35 · 183 阅读 · 0 评论 -
产品经理读书笔记(一)
每5-10位开发人员,需要配备1位产品经理。1位交互设计师大约可以支持2位产品经理的工作,1位视觉设计师可以支持4位交互设计师的工作。凡超过10位开发人员参与的项目,就应该配备专职的项目经理。产品经理的职责是探索(定义)有价值、可行、可用的产品。而项目经理则关注如何执行计划以按期交付产品。与用户体验相关的工作:用户研究:专门研究用户、分析用户,评估产品或原型是否符合特定用户的使...原创 2019-08-07 15:00:00 · 113 阅读 · 0 评论 -
Python数据结构:集合
集合的定义使用大括号,并且里面必须有初始值,否则是dict字典类型集合的特征集合内部的元素无序,所以不能使用索引、切片等操作集合内部的元素具有唯一性,不允许元素重复出现集合内部的元素,只能存放int, float, str, tuple等必须是可哈希的数据,set类型本身不可哈希s1 = {1,2,3,'a','b','c',7,8,9}s2 = {}pri...原创 2018-08-21 16:26:00 · 161 阅读 · 0 评论 -
Python数据结构:列表
列表的基本函数range(3) #小于3的整数:0,1,2range(1,10) #大于等于1小于10的整数,即[1,10)range(1,10,2)#大于等于1小于10的整数,步长为2,即1,3,5,7,9lst1 = [1,2,3,4]lst2 = ["zhangsan","lisi","wangwu"]len(lst1) #求数组的长度,输出为4max(lst...原创 2018-08-15 11:13:00 · 235 阅读 · 0 评论 -
Pyhon参数介绍
关键字参数def func(name='zhangsan', age=18): print("我的名字是{0},今年{1}岁".format(name,age))func() #姓名、年龄均为默认值zhansan和18func(age=20) #姓名为默认值zhangsan,年龄为20func(name='lisi',age=28) #姓名和年龄分别为lisi和2...原创 2018-08-15 16:18:00 · 80 阅读 · 0 评论 -
Python的函数文档
在函数内部的第1行开始,使用三引号作为帮助文档的标记字符def func(name, age, *args): ''' 这里是函数的帮助文档 :param name: 姓名 :param age: 年龄 :param args: 其他 :return: 返回值 ''' n = 0 for item in ar...原创 2018-08-15 16:38:00 · 64 阅读 · 0 评论 -
Python变量作用域
将局部变量提升为全局变量def func(): global b1 #使用关键字global将局部变量b1提升为全局变量 b1 = 100 print(b1)func()print(b1) #b1提升为全局变量之后,此处可以引用,此语句不能在函数func调用之前执行,因为只有执行了func之后,b1才会被声明为全局变量变量被修改,其id会发生变化...原创 2018-08-16 11:00:00 · 56 阅读 · 0 评论 -
Python递归函数、匿名函数、过滤函数
递归函数Python对递归的深度有限制,超过即会报错。所以一定一要注意跳出条件。#斐波拉契数列#一个数列,第一个数是1,第二个数也是1,从第三个数开始,每一个数是前两个数之和#公式:f(1) =1, f(2) = 1, f(3) = f(1) + f(2), ..., f(n) = f(n-2) + f(n-1)#例如:1, 2, 3, 5, 8, 13, 21......原创 2018-08-16 11:11:00 · 58 阅读 · 0 评论 -
Python数据结构:元组
元组相加t1 = (1,2,3)t2 = (4,5,6)print(id(t1))print(id(t2))t1 += t2 #即t1=t1+t2,将t1与t2元组相加,t1指向相加之后的新元组,该操作合法,因为元素内容不能修改,但是可以指向新的地址print(t1)print(id(t1)) #相加之后的t1指向一个新的地址输出为2583036379...原创 2018-08-21 15:02:00 · 236 阅读 · 0 评论 -
Python数据结构:字典
字典的创建d1 = {} #创建空字典,没有任何元素的大括号即为字典d2 = dict() #创建空字典d3 = {"one":1,"two":2,"three":3} #键与至之间用冒号"分开,键值对之间用逗号,分开d4 = dict(one=1,two=2,three=3) #注意此时key不要加引号print(type(d1))print(type(d2))p...原创 2018-08-17 11:41:00 · 400 阅读 · 0 评论 -
《梁宁·产品思维》笔记
1 用户体验角色扮演,很难深层交往透过表象抓本质扩充能力圈,满足存在感男人有钱了就不奋斗了女人结婚了就不化妆了以上因为存在感得到满足了2 理解愉悦与不爽满足->愉悦不满足->不爽满足感+愉悦,化成动力,投入1万个小时,成为专家3 理解愤怒与恐惧愤怒焦虑恐惧是痛点,做产品抓痛点,直面恐惧4 顺应用户潜意识内向->伟大的产品经理张小龙扎克伯格退居后台,看数据,服务于:没有防御的潜意识所流露出来的选择好的产品,突破防御,不让用户思原创 2021-02-20 17:38:52 · 344 阅读 · 0 评论 -
财务基础知识
一、会计六要素资产负债:债权人(银行/信托等)给的借款所有者权益:股东投资的分红回报等收入费用利润其中1/2/3反应财务情况(资产负债表)。其中4/5/6反应经营情况(利润表)。利润=收入-费用。二、财务三大主表2.1 资产负债表:反应特定时点的财务状况资产负债所有者权益每年净利润的5%,作为一般风险准备。应收账款,体现在资产负债表的资产侧。未分配利润,就是净利润 要给股东上缴的利润,体现在应付股利中。2.2 利润表:反应企业盈亏,经营成果三段式:收入、费用(原创 2021-02-10 15:27:29 · 273 阅读 · 0 评论 -
信托公司的主要业务模式
一、深圳模式二、上海模式原创 2021-02-07 16:27:27 · 3316 阅读 · 0 评论 -
《少有人走的路》读书笔记
勇于承担责任,敢于面对困难,才能使心灵变得健康。自律是解决人生问题的首要工具,也是消除人生痛苦的重要手段。所谓自律,是以积极主动的态度,去解决人生痛苦的重要原则,主要包括四个方面:推迟满足感、承担责任、尊重事实、保持平衡。聪明的父母,愿意花时间了解孩子,对症下药地教育孩子。富有爱心的父母,,善于审视孩子的需要,与孩子一道经受痛苦和折磨。他们未必立刻流露出感激之情,却可以领悟到痛苦的...原创 2019-11-15 16:50:42 · 242 阅读 · 0 评论 -
《启示录》读书笔记(二)
管理上司的10条经验为项目波动做好准备。提高警惕,记录工作进度;制订计划时,预留出时间应对变化何调整。 主体沟通的方式何频率。弄清上司的喜好,对症下药。 会前沟通。会前逐一会见高管,提出观点,征询他们的意见,确保会前达成基本一致。 多提建议,少谈问题。根据问题的重要性列举出多种解决方案,并附上自己的建议何依据。 向上司借力。 充分准备。 缩短邮件的篇幅,收件人级别越高,邮件的篇幅越...原创 2019-08-12 15:44:50 · 232 阅读 · 0 评论 -
通俗谈分布式、集群和高可用
一、分布式架构二、数据库集群原创 2021-02-01 17:03:45 · 168 阅读 · 0 评论 -
图文并茂介绍公钥和私钥
公钥和私钥就是俗称的不对称加密方式,是从以前的对称加密(使用用户名与密码)方式的提高。用电子邮件的方式说明一下原理。使用公钥与私钥的目的就是实现安全的电子邮件,必须实现如下目的:我发送给你的内容必须加密,在邮件的传输过程中不能被别人看到。必须保证是我发送的邮件,不是别人冒充我的。要达到这样的目标必须发送邮件的两人都有公钥和私钥。公钥,就是给大家用的,你可以通过电子邮件发布,可以通过网站让别人下载,公钥其实是用来加密/验章用的。私钥,就是自己的,必须非常小心保存,最好加上密码,私钥是用来解密原创 2021-02-01 16:57:41 · 1125 阅读 · 0 评论 -
区块链在供应链金融中的应用
一、制度建设1.1 机构注册图表1 机构的注册与实名认证流程 平台的所有机构均采用白名单制:首先机构与平台方签署服务协议 由平台方将该机构添加至白名单 机构管理员以该机构的名义注册,需要提供的主要实名认证材料包括: 银行开户许可证复印件 法定代表人身份证复印件 管理员身份证复印件 企业委托授权书 电子签章授权书 营业执照复印件 平台方...原创 2019-12-30 11:59:57 · 789 阅读 · 0 评论 -
微服务学习笔记
一、什么是微服务使用一套小服务来开发单个应用的方式,每个服务运行在独立的进程中,一般采用轻量级通讯机制互联,并且可以通过自动化方式部署。微服务的特征单一职责:紧密相关的业务内聚在一起。比如登录和注册可以作为一个微服务; 轻量级通讯:与平台无关,与语言无关; 隔离性:每个微服务运行在自己的进程中; 有自己的数据:每个微服务都有自己独立的数据存储; 技术多样性:不论采用什么语言开发...原创 2019-10-17 17:41:55 · 115 阅读 · 0 评论 -
大数据学习笔记(二)
(一)YARN体系结构YARN设计思路YARN部署YARN工作流程(二)大数据的应用领域(三)协同过滤算法基于用户的协同过滤基于物品的协同过滤(四)HDFS高可用方案(五)HDFS Federation方案(六)NoSQL数据库示例对比 主要产品 数据模型 典型应用 优点 缺点 ...原创 2019-09-20 10:10:13 · 255 阅读 · 0 评论 -
大数据学习笔记(一)
(一)Hadoop的应用(二)NameNode数据结构(三)分布式文件系统结构(四)NameNode和SecondaryNameNode的交互(五)HDFS文件读写过程读文件写文件(六)HBase数据结构数据表格式 Info Name Major Email 201505001 Luo Min ...原创 2019-09-20 10:09:01 · 175 阅读 · 0 评论