自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

周小董

万物互联,环环相扣。

  • 博客(12)
  • 资源 (1)
  • 收藏
  • 关注

原创 [685]coder的自娱自乐

好看的皮囊千篇一律,有趣的灵魂只有我一个。啄木鸟:哒哒哒哒哒哒哒哒。树:我没病,你别啄了。啄木鸟:没病走两步。树:滚。男孩骑着高头大马来到了悬崖边,回头对着心爱的女孩说:“我最后问你一句,你到底嫁不嫁给我?如果你不嫁给我,我活着也没什么意思,我就从这个山崖跳下去。” 女孩被感动了,对着男孩大喊一声:“嫁!” 马从山崖冲了下去……我对象很好 · · · · · · · · · · · 对马也很好,对狗也很好,对猫也很好,对动物都很好。我爱动物程序员最讨厌的四件事:写注释、.

2020-09-24 23:14:42 584 2

原创 [903]linux文件删除后磁盘空间没有释放

Linux文件删除,但是df之后磁盘空间没有释放//删除文件sudo rm -rf file// 查看文件大小ls -lht//查看硬盘空间df -h//可以查看每个文件夹的大小,此举可以快速定位大文件所存在的位置。du -sh /*//可查看当前目录下的文件和文件夹数ls |wc -l执行sudo lsof | grep deleted发现有大量刚刚删除文件的进程存在,kill掉进程(或者重启进程) OK参考:https://www.cnblogs.com/xd

2020-09-29 18:48:13 239

原创 [902]python list排序

文章目录sorted函数普通list元组list对列表中元素倒序list.sort()sorted函数使用python的sorted函数,该函数默认从小到大排序sorted(list)返回一个对象,可以用作表达式。原来的list不变,生成一个新的排好序的list对象。普通list>>> a = [5,2,9,8,6]>>> a = sorted(a)>>> print(a)[2, 5, 6, 8, 9]倒序排序为从大到小排序,使用re

2020-09-29 18:47:07 323

原创 [901]sqlite数据库的导出与导入

文章目录SQLite 获取所有表名通过`sqlite3 test.db`命令进入sqlite数据库的shell 操作:python 脚本:.help直接导出csv文件SQLite 仅仅支持 ALTER TABLE 语句的一部分功能,我们可以用 ALTER TABLE 语句来更改一个表的名字,也可向表中增加一个字段(列),但是我们不能删除一个已经存在的字段,或者更改一个已经存在的字段的名称、数据类型、限定符等等。改变表名 - ALTER TABLE 旧表名 RENAME TO 新表名增加一列 - AL

2020-09-29 18:46:19 2195

原创 [900]mysql字符串数字互转

字符串转数字最简单的方式就是直接在字符串后面+0,就相当于直接把字符串转为数字类型了,下面可以看一下具体的操作,可以看到通过+0操作,成功将两个字符串转化为了数字,并得到了相加后的结果。SELECT '123'+0+'123'; CAST()函数转化为整数使用CAST()函数,使用方式为CAST(value AS type);,下面可以看一下具体的操作例子,通过如下sql语句查看结果:SELECT CAST('5.45' AS SIGNED); 可以看到结果直接将字符串’5.45’转为了

2020-09-27 12:55:38 700

转载 [899]数值特征-对数据进行log变化

对于一些标签和特征来说,分布不一定符合正态分布,而在实际的运算过程中则需要数据能够符合正态分布因此我们需要对特征进行log变化,使得数据在一定程度上可以符合正态分布进行log变化,就是对数据使用np.log(data+1) 加上1的目的是为了防止数据等于0,而不能进行log变化代码:第一步:导入数据第二步:对收入特征做直方图,同时标出中位数所在的位置,即均值第三步:对收入特征做log变化,使用np.log(data+1)第四步:对log收入特征做直方图,标出中位数线的位置,即均值结论:我们可

2020-09-27 12:54:16 2426

原创 [898]python获取两个list交集|并集|差集

获取两个list 的交集:#方法一:a=[2,3,4,5]b=[2,5,8]tmp = [val for val in a if val in b]print(tmp)#[2, 5]#方法二 比方法一快很多!print list(set(a).intersection(set(b)))获取两个list 的并集:#方法一:print(list(set(a+b)))#方法二 比方法一快很多!print(list(set(a).union(set(b))))获取两个 .

2020-09-24 22:53:17 268

原创 [897]使用Maxwell实时同步mysql数据

Maxwell简介maxwell是由java编写的守护进程,可以实时读取mysql binlog并将行更新以JSON格式写入kafka、rabbitMq、redis等中,  这样有了mysql增量数据流,使用场景就很多了,比如:实时同步数据到缓存,同步数据到ElasticSearch,数据迁移等等。maxwell官网:http://maxwells-daemon.iomaxwell源代码:https://github.com/zendesk/maxwellMaxwell的配置与使用max

2020-09-24 22:52:33 1449

原创 [896]DBeaver安装和下载驱动报错问题

DBeaver连接ClickHouse1.从DBeaver官网下载安装包并点击下一步下一步安装         https://dbeaver.io/download/2.在DBeaver中创建新链接,选择ClickHouse3.填写ClickHouse所在机器的ip地址和用户名密码即可,其他URL自动会填写4.点击测试链接按钮,在弹出来的地方选择 下载按钮,等它全部下载完驱动后即可测试连接5.点击测试链接 显示已连接说明已经连接成功,可以

2020-09-18 20:05:06 22998 14

原创 [895]python连接clickhouse数据库

一、简介Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承Ingres而来的), Paradigm4和SciDB的创办者。Michael Sto

2020-09-18 20:00:03 1930

原创 [894]python的重试机制

但是这样有一定的代码侵入性,在业务逻辑上加入循环判断显得很不美观,别着急,往下看,还有更好的方法。retrying是Python的一个第三方库,它提供一个装饰器函数retry,被装饰的业务函数就会在运行失败的条件下重新执行,默认只要报错就会一直重试,直至执行成功。当出现异常后,tenacity 会进行重试,若重试后还是失败,默认情况下,往上抛出的异常会变成 RetryError,而不是最根本的原因。因此可以加一个参数(reraise=True),使得当重试失败后,往外抛出的异常还是原来的那个。

2020-09-01 20:18:48 1485

转载 [893]推荐几款提高体验与效率的Chrome插件神器

今天推荐几款好用的 Chrome 插件,都是我自己一直在用的插件。可以到 Chrome 商店下载。话不多说,进入主题。Insight.io For Github如图,就像这样,可以以文件树的方式浏览 github 的代码文件。Toggle JavascriptToggle JavaScript provides a simple, easy-to-access browser button to enable or disable JavaScript globally.嗯,翻译过来就.

2020-09-01 20:17:59 249

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题

2018-09-10

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除