- 博客(17)
- 收藏
- 关注
RSS订阅原创 生成式模型与判别式模型
生成式模型和判别式模型是机器学习中两种常见的模型类型。生成式模型，又称概率模型，是指通过学习数据的分布来建立模型P(y|x)，然后利用该模型来生成新的数据。生成式模型的典型代表是朴素贝叶斯模型，该模型通过学习数据的分布来建立概率模型，然后利用该模型来生成新的数据。判别式模型，又称非概率模型，是指通过学习输入和输出之间的映射关系来建立模型y=f(x)，然后利用该模型来预测新的输出。判别式模型的典型代表是支持向量机模型，该模型通过学习输入和输出之间的映射关系来建立分类模型，然后利用该模型来预测新的分类结果
2023-04-28 11:25:07
2209
原创 一体化笔记本电脑内置键盘更换指南
内容：记录一次笔记本内置键盘更换事件。以前的笔记本键盘可以从C面直接取掉，现在的笔记本基本都是金属外壳，同时为了让笔记本电脑更加轻薄，一般都是一体化操作。网上一般都是连同键盘及外壳，直接更换C面，价格昂贵不说，太浪费了，不建议，地球环境越来越差，人人都要ESG不是。现象：笔记本键盘坏掉了，P键和数字键全都没反应了诊断：查阅网上的记录，初步判断应该是笔记键盘坏掉了，需要更换内置键盘，但翻遍全网，没找到合适的教程解决方案：自己尝试动手喽，从网上查到各种蛛丝马迹，意思是要从背部将整个主板拿掉，然后更换掉键盘。
2022-12-06 17:39:37
4360
原创 clickhouse 查询语句过长不能执行的问题
最近在做模型的发现用clickhouse-driver连接clickhouse时，如果query语句过长，无法执行成功的问题，其原因在设置上，默认max_query_size的大小为256 KiB，比较小，如果查询的时候有in语句，容易导致语句过长，可以更新下这个参数。具体位置为范围内，我加到了之后，亲测成功。加入的位置是users.xml中，切记，不要加到config.xml中，会报错。...
2022-08-10 19:42:45
2107
原创 Win10 新建文件夹或者删除文件夹不自动刷新的问题
电脑用了一段时间，突然就出现新建文件夹、删除、重命名、粘贴都要刷新下才能出来的问题，尝试了各种方法，还是不好使。最后，用下面的方法解决了：1.win+E 打开 文件资源管理器，【查看】->【选项】2.【常规】->【还原默认值】3.【查看】->【重置文件夹】、【还原默认值】->【应用】 通过上面3步，就解决了。也不知道哪里设置的问题，估计哪个优化软件调整后没恢复。...
2022-06-13 14:32:36
6744
2
原创 完美解决Clickhouse-JDBC-Bridge 连接Oracle日期类型错误的问题
解决Clickhouse JDBC-Bridge 连接Oracle。Oracle的DATE和TIMESTAAMP类型的字段读取过来完全不正确，不管是使用json配置还是jdbc直读的方式。
2022-06-06 17:53:47
842
原创 Clickhouse 通过JDBC方式从Oracle抽取数据，不借助任何抽数工具。顺便聊下Airbyte
Clickhouse 通过JDBC方式从Oracle抽取数据，不借助任何抽数工具。顺便聊下Airbyte。
2022-05-30 15:20:34
2221
原创 机器学习和统计学等价？
这里其实还牵扯到另一项技术，大数据，一般业内人士很容易区分大数据、机器学习，但领导们却经常混为一谈，统称大数据，咱也不能跟领导较劲不是，他们说啥就是啥，不反驳。但，作为技术人，咱们自己可不能不较劲；本质上的大数据一般偏IT领域，就是Hadoop+Spark/Flink/Hive那一套M/P架构，或者像Clickhouse、Doris这种MPP架构的OLAP技术，大数据主要是用来解决大规模运算这一难题的，而统计在大数据的应用是最为普遍的，说句不负责任的话，大数据领域95%应用是大数据统计，其他机器学习、...
2022-04-24 10:38:38
186
原创 为什么说最小二乘法和最大似然估计是等价的
在接触机器学习算法时，无法避免的就是理解模型训练的过程，即模型为什么能够从历史数据中学习到知识，其实学习的过程就是模型训练的过程，也是模型寻找参数最优解的过程。这个过程有两种求取方式，一种称为最小二乘法，另一种称为最大似然估计，而这两种概念及其容易混淆，尤其对初学者而言，搞不懂这两个概念，很容易从入门到放弃。我接触机器学习和深度学习也有几年了，并且一直从事相关工作，前后阅读相关书籍不下于10本，每本书都是用大量数学公式来解释这两种方法，越高约复杂，我也是直到最近才真正弄明白两者到底啥意思，为什么说是等价..
2022-04-22 15:22:02
2296
原创 打包某个Python包所有依赖，进行离线安装--以pyecharts为例
工作中经常会碰到在服务器上安装Python包的情景，但公司服务器一般不能连接互联网，这就需要在个人电脑上先将该Python包所有依赖下载下来，再拷贝至服务器进行安装。好在pip命令能帮我们自动完成这一操作。
2022-02-09 15:12:16
6587
原创 Streamlit容器内安装报错解决方案
streamlit在容器内安装的时候会报错如下：OSError(errno.EMFILE, "inotify instance limit reached")原因是系统的进程数超出限制默认值128了cat /proc/sys/fs/inotify/max_user_instances解决方案：更改容器宿主机的内核设置，注意一定是更改宿主机的，在容器内无法更改内核，容器里会提示为只读。切换到宿主机环境，vim /etc/sysctl.conf在文件中添加：视情添加max_
2022-01-26 14:38:14
2314
原创 Clickhouse、Oracle、Spark、Hive性能对比测试
一、背景首先明确下，拿Clickhouse这种OLAP来跟关系型数据库Oracle、内存MapReduce Spark、磁盘MapReduce Hive对比比性能，的确有点欺负人的感觉，但没办法，业务需求，为了说服IT部门给部署Clickhouse集群，千万级的数据量，他们动不动就上Hadoop体系，我实在看不下去了，撸起袖子自己来吧。定性结论：1、Clickhouse作为OLAP中的特立独行者，做数据分析真的是再合适不过了，丰富的分析函数可以节省大量时间，同时，性能在4个平台中，呈现碾压趋势。
2022-01-21 15:27:15
6750
1
原创 基于waterdrop，从hive抽取数据至Oracle
相关链接：基于waterdrop，从oracle直接拉取数据进仓Clickhouse_Johnwick888的博客-CSDN博客继之前基于waterdrop，从orcale直接抽取数据到Clickhouse之后，又遇到从hive抽取数据到Oracle的需求，相关jdbc驱动配置见上面连接，Oracle相关jdbc驱动下载链接如下：JDBC and UCP Downloads page记得下跟自己Oracle版本一致的jdbc驱动。waterdrop的配置文件如下，batch.conf：s.
2022-01-14 14:33:31
1535
原创 基于waterdrop，从oracle直接拉取数据进仓Clickhouse
一、Clickhouse、hive、oracle性能简单对比测试公司数据分析需求，从市级切换到以省级为单位分析医保数据，原来的oracle数仓完全扛不住了，IT也没解决办法，所以自己动手建了Clickhouse集群，通过两台与oracle数仓配置类似的机器，进行并行数据分析，不得不说Clickhouse真的可以吊打oracle。由于高可用Clickhouse基于zookeeper实现，至少3台机器，资源有限，只有两台，所以我突发奇想，丢弃zookeeper，只用Clickhouse，建立了非高可用Cli
2021-12-28 15:12:34
3020
2
原创 win10 下 microk8s安装记录
一、windows环境1.win10教育版，16G内存，1T固态；2.采用multipass安装轻量虚拟机（20s内启动完毕，超快），基于hyper-V管理虚拟机，默认安装Ubuntu最新版3.如果multipass启动的时候忘了设置cpu、内存、硬盘大小，可以在hyper-V的虚拟机管理器中调整，直接使用multipass调整太麻烦二、linux环境配置1.docker的安装：根据官网，一定要用如下代码，千万别直接安装dockersudo apt-get install doc.
2021-08-09 20:51:53
840
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人