- 博客(604)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 python 通过 Flask 实现 接口demo
教育的力量大于天赋的力量。The power of education is greater than the power of genius. -------伏尔泰目录准备条件windows版 无参请求 有参get请求Linux版(这里用的CentOS)后台运行准备条件1.肯定你得先有python2.然后你得有flask （没...
2020-01-07 18:38:12
1971
1
原创 电商项目框架选择
接下来，我就要用生动形象的语言以及苍白无力的技术给大家描述一下京东官网的 制作。先来个自我介绍，我是一位在京东工作了3年的java程序员。毕业于麻省理工大学计算机系。不说出来你可能觉得我不流弊，可能不会看我的博客。接下来给大家讲讲，我是怎么写京东的。 首先要知道，我做的是什么，电商平台，电商平台会遇到的问题，访问量超级大，需要高并发，高可用的特性。为了解决这个问题，...
2019-06-16 18:56:16
1794
4
原创 mysql数据迁移，全量和增量
接下来将服务切换的B库。然后在从A库按照这个时间节点后的数据，输入到B库。首先我们选定一个时间为历史数据。将这部分的数据全部输入到B里。mysql是常用的数据库。数据迁移一般有2种，增量数据和历史数据。mysqlB是新的数据库，mysqlA是旧的数据库。假设我有2个数据库mysqlA和mysqlB。
2024-07-25 22:40:49
66
原创 cdh社区版免费替代方案。
只有用的人多了，用的公司多了，国产的才有钱。恶性的就是操作系统，大家都在用windows，百分之99的软件都支持windows，你出个操作系统，就和软件各种不兼容，因为你做操作系统的，只有别人来适配你，不可能你去适配别人，软件实在是太多了。所以，大家都不愿意换，所以操作系统就做不好。怎么让大家去换呢，给钱让大家去换，每天学习这个操作系统，给多少钱，培养人的依赖性。不过没人做这事，要么就是强制大家不用windows，这样的话，网络公司瘫痪百分之80，所以说很难。以上感悟和废话，不用管。
2024-07-19 10:21:10
268
原创 薄冰英语语法学习--代词4_不定代词
no表示不，neither两者哪个都不，none没有一个。any可以用于疑问句，否定句，其他句子，只起修饰作用。little、a little，少量。few代表否定，没有几个，a few代表肯定有几个。few，a few代表少数，几个。little表示否定，a little表示肯定。some用肯定句，修饰单数名词，叫某一些。either表示两者中任何一个，选一个。any用否定句，疑问句，代表一些。all指的是2个以上的人或物。most最多，是最高级。如果用肯定句，叫任何。much修饰不可数名词。
2024-07-19 09:32:12
129
原创 吾日三醒吾身——离职篇
我在杭州找到了工作，你敢信？刚看了2个月，第一个月还是有任务的，第二个月就没什么事做了，领导说要让我走了。已经明确给我说了没有活要干了，最少得9月才有新项目来。我现在还在试用期，然后我给他说，我要半个月赔偿。他就改口了，编造了一个什么综合评定。说你和同事必须走一个，需要考核。把公司的矛盾成功转向给同事，厉害吧。同事是新项目接手一直有活干的，然后让我跟着他干活，在过几天在来个综合评定。
2024-07-18 22:34:07
87
原创 薄冰英语语法学习--代词3
介词是表示词与词的关系，句子与词的关系，句子与句子的关系的。这期是从句相关，比较重要，我花了1个小时弄懂了，我以前不会的，我以前是0基础。这些只会把你搞混，你只要记住什么是宾语，什么是主语，什么是名词，什么是形容词，什么是定语。不要去记，不要去记，不要去记，什么主语从句，宾语从句，定于从句这些，名词性从句这些。代表人的关系代词：who、whom，who是代表主语，whom是代表宾语。which表示的是物，可以做主语也可以做宾语，主要看后面的句子缺什么成分。定语：是修饰名词的，假如，美丽的人，美丽就是定语。
2024-07-18 17:10:26
247
原创 薄冰英语语法学习--代词2
自己回答一遍，然后自己觉得能不能满意。能满意ok，不满意，为什么不满意？我们以后学习都按刻意练习所说的方法，定目标，强迫自己专注，有检验的反馈。who代词代表的是主语的疑问，whom代词代表的是宾语的疑问。你要达到能直接回答，不看任何资料，东西在脑子里才算是学到了。whose代词代表的是属格，问东西是谁的。what代表是什么，发生了什么，你在做什么，这是什么。先看一眼时间，从现在开始作为专注时间，只能看这个。1.首先拿到学习内容，根据学习内容定目标。他们分别代表的意思是什么？他们分别代表的意思是什么？
2024-07-18 10:16:19
205
原创 测试专注力
我刚刚记住了反身代词有哪些，yourselef,myself,himself,herself,itseft,ourselves,themselves,oneself。然后他们在哪里用，名词后，名词前，形容词后。我从10分开始看语法，发现到35分了，我只看了3分钟的语法。也就是只有百分之12。我先把目标写好，然后看的时候对照着可检验的目标。发现专注力明显提高了。看了7分钟，刚刚有人发消息所以花了20分钟，7/20，百分之35专注。
2024-07-17 16:48:05
205
原创 大数据医疗数据数仓建模
本人想成为某个领域的数据专家，因为自己喜欢生物，所以想成为医疗方面的专家，医疗他会长久不衰，只要人类还在，那么这个行业就一直存在。但是我意识到一个问题，如果发生战争了互联网不能用了，信号被中断了，停电了。你如果只有孩子的信息，但是做检验的却是它的母亲，所以得做关联。假如一个身高，一个是164cm一个是1600毫米，1.6米，这种就不能分析了。我软件专业的，职业是大数据工程师，投的都是医疗行业，发现这几家处理的都是体检数据。2.ETL的规范，字段规范，数据处理的时候就会规范，避免了重复数据。
2024-07-15 15:36:11
685
原创 redisTemplate报错为nil，通过redis-cli查看前缀有乱码
【代码】redisTemplate报错为nil，通过redis-cli查看前缀有乱码。
2024-07-13 23:13:42
206
原创 残差是什么？
假设你的实际值是，3，但是预测的值是2。那么3和2之间的差值是1，这个1就是残差。指的是实际的值与你预测的值，之间的差值。残差是统计学中的概念。
2024-07-12 10:33:57
78
原创 我对线性回归的理解
各个x通过各种方式+-x/等数学方式，得到一个公式，能够很好的与y值接近。这个就是线性回归的公式。y随着x的改变而变化。多个不同的x之间怎么影响y？这就是线性回归的问题。自变量x，和因变量y。x有多个，但是y只有一个。
2024-07-12 10:24:15
142
原创 数据分析_计划
我做大数据的有6年了，以前都是用sql，或者spark，java，scala，python去做。现在这些平台搭建、维护、大多数都是搭建一次就完了，而且维护大多是大厂直接用云平台去做。ETL也是就做一次就够了，我们公司现在主要走的是云模式，所以ETL都是其他医院的信息科开发的，不用我们处理， 我们提供一个建模以及数据规则，和数据质量评估的程序就可以了。所以现在在公司需要的更多的是数据分析。宽表处理，PPT梳理，python脚本分析，训练与建模。我的计划是先从视频开始，大概2天之内看完视频。
2024-07-12 09:56:44
375
原创 dataX入门
"value": "hello，你好，世界-DataX"直接去当前的resouece下，用他给好的json就行了。github左边，你想用哪个reader或者writer。要求你有python和jdk1.8还有maven3。第一步、创建作业的配置文件（json格式）
2024-07-11 15:59:58
419
原创 OceanBase 社区版，搭建，安装，部署
我看的是社区版他是分布式关系型数据库，支持事务。兼容mysql语法，支持水平扩展，LSM数据压缩。社区版，不支持oralce语法，不支持锁表，不支持透明加密存储，不支持数据压缩。
2024-07-11 14:29:33
773
原创 starRocks搭建
公司要使用新的大数据架构，打算用国产代替国外的大数据平台。所以这里我就纠结用doris还是starrocks，如果用doris，因为是开源的，以后就可以直接用云厂商的。如果用starrocks就得自己搭建，但是以后肯定会商业化，也是要收钱的。经过权衡，我选择了starrocks。用他来做数仓，代替我们以前cdh里的hive-presto或者kudu-impala。
2024-07-11 08:27:15
795
原创 python计算字段与字段的相关性皮尔逊系数
之前的生信离职了，我大数据开发的要帮他搞这个。现在到了计算指标相关性的了，看看能不能把某个指标合并在一起。
2024-07-09 15:03:58
366
原创 win10的cmd窗口打开中文乱码
在pycharm中的terminal中同样是乱码，因为他们用的都是windows的窗口。这里我们首先看我们打开的文件的什么编码，可以用notepad++打开。然后我们在cmd中或者Pycharm的terminal中。输入(这个就是Utf8编码)然后在用type 就可以了。可以看到是utf-8编码。
2024-07-09 10:44:58
166
原创 薄冰英语语法学习--冠词2
There is a Mr Bush to see you. 有位布什先生要见你。An ocean is bigger than a sea. 洋比海大。A car must be insured. 汽车一定要上保险。表示某个具体的一个人或者一个物，必须加具体的。a，不定冠词指任何一类人，或者事。英语是我们交流中一种有用的工具。
2024-07-04 12:32:23
555
原创 薄冰英语语法学习--冠词1
the Lake of Geneva 日内瓦湖 the Island of Taiwan 台湾岛。She is in the third group. 她在第三组。常用形容一类事务、特指（加强）、放在转有名词前面。他拿到一支笔和一张表。他要用这支笔填这张表。几年前他是这儿最穷的人，但现在他成了富人。他们进了一家小餐馆，那个餐馆里挤满了人。现在要做的第一件事就是大吃一顿。穿黑色衣服的那个人是个魔术师。据说，轮子是人类的第一项发明。很多人来这里参观这座古城堡。这是我读过的最有趣的一本书。马是一种有用的动物。
2024-07-03 12:39:06
548
原创 R语言学习，入门
现在加入了医疗行业，要做数据分析，前同事的实验室生信专业的，用的是R语言，为了跑通他的程序。就来学一下吧，看了一下好像挺简单的。我是一名6年开发经验的程序员，后端，大数据，前端都会。4.33是我的幸运数字（根据操作系统2选一）linux下载安装包。
2024-07-03 09:30:37
343
1
原创 Python的库dataperp读取excel和csv
python3.11以下领导说这个很牛，不过咱们不能听别人一口之言，咱们应该亲手试试，在来说这个好或者不好。
2024-07-02 17:22:37
276
原创 薄冰英语语法学习--名词3-性别
英语中的雌雄可以用，man 和 woman 表示。male和female，或者 he she。花个2分钟看一下人的，在花2分钟看一下动物的。记不住没关系，读一遍。男人 man ，女人 woman。读完发现很多带ness代表雌性的。
2024-07-01 12:12:40
239
原创 mysql wrnning Difficult to find free blocks in the buffer pool解决方法
原因：这种情况，多半出现在别人在非常大的写入，或者百万级的查询中。解决方式，centos7在线安装的mysql，我使用的是mysql8,。
2024-06-28 10:10:43
306
原创 吾日三省吾身-总结
4.分布式的理解，我们给客户部署的时候尽可能分布式，当客户给的资源不满足的情况下，我们才单节点。其实我觉得困难，即使给自己老婆讲，讲了，她也会烦。困难这东西，一般不要说难，自己慢慢消化，或者说方案，尽量少说困难。最好就是多个集群，互相备份，并且物理机在不同的地区，一般只有大公司才能做到。2.开会就只说开会的东西，不要扯到别的，大家都在忙，没时间，先把会议要搞的目的说完，在去说家常。2周没总结了，为什么，因为太忙了，不是太懒了，是真的太忙了。这些都是我的毛病，还要我领导的毛病，我总结下来了。
2024-06-27 21:15:16
237
原创 医疗数据分析
我待过2家大公司做医疗的，发现了他们的共性，有很多通用的方法，先说数据，医疗数据中最麻烦的，我觉得就是检验数据。为什么？因为检查的指标项多，占所有数据的百分之50以上。
2024-06-27 15:55:42
441
原创 薄冰英语语法学习--名词2-格
无生命也可以用's。时间，距离，群体，国家，城市，价值，固定说法，自然现象等。这个读一遍，理解一遍，花2分钟看一下。's 属格常用于构成表示有生命的东西的名词的所有格，但也可以构成某些表示无生命的东西的名词的所有格。这个有意思，of 代表的是照片里面有某人，of 名词's代表的是，照片是吉姆的。比如tom's book，汤姆的书。，代表后面这个东西属于前面的。对于一个小朋友来说就够了。of数格，表示无生命的。1分钟记忆一下这4个。
2024-06-26 12:29:54
242
原创 对数据分析行业的疑问
我今天一看他们的统计，明知道客户的字段是错的，按照这个字段跑起来后，居然就直接把这个字段删了，也不去探究原因，查看为什么跑不起来。那你提供的数据是错误的，最终合成的，以及基于你的数据分析的，也全是错误，包括以后的宽表之类的。做数据我一直的态度就是，即使慢，不能错，有问题就探究原因。但是我一直没怎么做数据分析，当我加入了新公司后发现，现在做大数据的大部分都是数据分析，用python和sql。我之前是做大数据的开发的，当然也做业务比如Java、springcloud的后端开发、也做了ai的。
2024-06-26 10:06:18
201
原创 薄冰英语语法学习--名词1-不规则的
不可数名词，比如说water，水。这种，但是可以用数词帮助表示个数。如果用数词了就相当于复合了，那么他就是主要数词上表示s或者es了。不规则就是完全没有规则，和s和es没有关系。就写死了告诉你，这个词的复数就是这样写。昨天学了，规则的，就是加es，或者变y为i加es，以及加s,还有变f和fe为v加es。这个我就不记了，感觉大部分本身就是复数。只有复数的，这个不用看，这个词就本身后面有es或者s。child - children 孩子。
2024-06-25 12:35:53
169
原创 薄冰英语语法学习--名词1
有特殊的情况，暂时先不用管，3岁小孩，只用全部按非特殊情况算就ok了，以后长大了，遇到问题了，再微调一下。先解决百分之90的问题。学习辅音，除了字母a、e、i、o、u外。背公式，黑人英雄吃土豆和西红柿被噎死了。以f结尾的，还有fe结尾的，变f或者fe为v加es。辅音字母+y，变y为i加es。我用来教我自己3岁的小孩的。写出下面名词的复数形式。
2024-06-24 12:29:40
525
原创 大数据-数据分析师利用excel绘图
你会用excel，统计数据吗？我是大数据工程师，但是我不会excel。那咋办？用sql，统计，导出到excel，在用excel统计。本文主要讨论的是导出到excel后，画图。图是什么？x和y轴，所以对应的是x一行数据，y一行数据。或者x一行数据，y多行数据。
2024-06-20 13:29:50
248
原创 骗小孩背单词的游戏
我小孩还没有生，我打算生2个，这样他们有竞争性。我们小时候玩过一款游戏，叫做编编战，就是通过作者进行现场在脑子里编故事，然后玩家，直接加入故事，通过讲述或者演绎，来做凭空的角色扮演。我们可以把单词提前记住和背下来，然后作为咒语，让他们记住。假如，你现在学会了一个技能，修理，fix，你使用这个技能的时候必须背出来这个单词，才能使用成功。
2024-06-19 14:03:31
127
原创 Apache DolphinScheduler查看版本信息
我找了半天，没有看到版本在哪里。然后我看配置，他要连接数据库，我去他存储数据库的表里面，看到了相关的版本信息。dolphinscheduler找到了里面的密码。
2024-06-17 17:06:30
360
原创 ubuntu18.04离线源制作
给客户部署有时需要纯内网环境，那这样就连不了网络。一些包就下载不下来，而大家都知道用deb离线安装是非常麻烦的，各种依赖让你装不出来。这里教大家打包源。我准备2台机器，42和4142可以联网，41不能联网。我想在41上通过apt安装某些东西。看我步骤。为保证41不能联网，我先删除41的所有镜像源。41机器上，编辑注释里面的所有内容假设我现在要在41上安装redis失败的，对吧。
2024-06-12 17:22:03
325
原创 入职一周感慨
上周太忙了，去打了个球，买了个二手电动车，然后按了个spa。所以忘记吾日三省吾身了，罪孽呀。本来事情都很顺利的，昨天在工作上，我不小心把cdh集群的主节点ntp remove了，然后重启了所有服务，又不小心改了个配置（当时不知道）。于是我就改了6小时的bug，影响了测试环境。然后本来5点30下班，我搞到6点半。回家也在远程搞，md搞到9点，没解决。查了所有资料没有找到，stackOverFlow都问了。
2024-06-12 10:54:52
365
1
原创 Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initial
CDH出现了这个问题，hdfs报错因为我之前重新安装了zookeeper，导致zookeeper中的namenode信息丢失。然后之前的name node 挂了，看角色日志是这个问题。
2024-06-12 10:27:23
119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人