- 博客(28)
- 收藏
- 关注
RSS订阅
原创 ifttt尝试体验
IFTTT( If This Then That )是一种类似workflow的软件服务，顾名思义它可以通过自定义规则的方式实现比较简单的自动化工作任务。例如我在twitter上发了信息，通过该服务，我可以把信息自动同步至ins的动态上；类似的，触发xx发生时，就去做yy这种比较简单的工作流很容易通过这种方式建立。它还可以结合一些物联网设备比如智能家居，Alexa之类的去使用。第一次知道这个名词的时候我也不是太抱有兴趣，因为感觉很多自动化的流程可以通过Python之类的脚本去做，何必用ifttt呢。其实
2021-03-01 19:07:05
236
原创 用的较少的linux指令串讲
本文主要focus在那些不常用的*nix命令，或者用了但是也不明白是什么意思的命令exportLinux export 命令用于设置或显示环境变量。在 shell 中执行程序时，shell 会提供一组环境变量。export 可新增，修改或删除环境变量，供后续执行的程序使用。export 的效力仅限于该次登陆操作。sourcecolumn是一个用于linux输出打印格式化的命令https://www.cnblogs.com/kelamoyujuzhen/p/10071501.html...
2020-10-30 15:29:09
109
原创 grep/uniq/sort/wc/paste/head/cut/tee/shuf/wait/xargs/tr/split/find/nohup *nix命令串讲
todo
2020-10-19 17:19:22
259
原创 Unix中的输入输出重定向
写这篇是因为在写bash命令时，总是搞混，有时候就是干脆不懂定向，结合菜鸟教程里的讲解学习，命令 说明command > file 将输出重定向到 file。command < file 将输入重定向到 file。command >> file 将输出以追加 append 的方式重定向到 file。n > file 将文件描述符为 n 的文件重定向到 file。n >> file 将文件描述符为 n 的文件以追加的方式重定向到 file。n >&
2020-10-19 17:12:04
521
原创 sed常用指令与基本操作学习（一）
sed 流编辑器暂时用windows中，cmd是没有sed，grep和awk的，需要自行去安装，安装好后把目录加到环境变量下去cmd就能用了。$ cat pets.txtThis is my cat my cat's name is bettyThis is my dog my dog's name is frankThis is my fish my fish's name is georgeThis is my goat my goat's name is adams
2020-10-19 15:26:24
313
原创 OS X High Sierra xpcproxy 进程占用过大的解决方法
mac有一个 YaraScanService 服务，是一个类似于windows defender的服务，会定期会扫描你的下载文件夹，如果文件夹里的文件特别多，可能会占用比较大的进程，开机会有一段时间很卡。本来想强制结束进程，但是每次开机都有，太麻烦了。一般来说定期把下载里的文件清理或者搬走就可以。参见 https://discussions.apple.com/thread/8456871...
2020-10-14 11:44:15
3677
原创 花了一个月时间折腾Hackintosh的历程
入职这边研发基本都是windows，连外接显示器都没的领，我自己只有一台老掉了牙的thinkpad t440p个人电脑，以21世纪20年代人的视角来看，这电脑也是性能掉渣，屏幕眼瞎的玩意，windows系统的烂处就在于，你干活确实需要他，但当你干完了一天的活之后，这个系统就非常的让人厌恶，你碰都不想碰。每天下班回家后，我也实在是不想打开电脑了，但是好在这台电脑的可玩性不亚于某宝上的x220系列，而我以前就了解到这种上古机器到今天也有大量的玩家在折腾。对于黑苹果系列我几乎没有什么了解，只是知道安装应该比Ubu
2020-10-02 23:19:45
737
原创 Golang 学习 （一）Go 语言变量
Go 语言变量变量声明var identifier typevar identifier1, identifier2 type // 可以一次声明多个变量第一种，指定变量类型，如果没有初始化，则变量默认为零值。var v_name v_typev_name = valuepackage mainimport "fmt"func main() { // 声明一个变量并初始化 var a = "RUNOOB" fmt.Println(a) // 没有初
2020-10-02 22:09:37
106
原创 用you-get批量下载bilibili的视频列表
源代码不能用了，就稍微改了一哈，可以了。https://lolicon.link/2016/08/07/yet-another-method-to-download-video-from-bilibili/ 用的是you-get，方法是 python download.py [视频链接] [分p数]#!/usr/bin/env python#coding:utf-8impo...
2020-02-29 13:09:17
925
原创 Hive学习：order by，sort by，distribute by，cluster by的区别
源数据：tb.id tb.name tb.job tb.m_id tb.day tb.salary tb.salary2 tb.deptno7369 SMITH CLERK 7902 1980-12-17 800.0 NULL 207499 ALLEN SALESMAN 7698 1981-2-20 1600.0 300.0 307521 WARD SALESMAN 7698 1981-2...
2018-11-11 22:19:03
112
原创 Hadoop学习笔记04：shuffle
一个讲shuffle的教程，很详细https://www.youtube.com/watch?v=F4Zc4S-8n0w
2018-11-11 22:18:06
93
原创 大数据与机器学习博客推荐
自己很多时候学习大数据组件google问题，看到了讲解精彩的博客往往是浏览器加个书签就完事了，实际上很少会回过头来看，这样不好。我自己有时候还会把那个文章或解答的网页打印成PDF保存，但是像csdn这种毒瘤网站最近打印成PDF的样式非常糟糕，遂下定决心不再看csdn上的文章了。为此决定把个人常看的一些优秀数据科学社区和博客的地址放在这里（争取多看除了SOF和官方文档之外，其实还有一些专注于数据科...
2018-11-11 22:17:41
140
原创 Hadoop学习笔记03：序列化
什么是序列化呢？序列化就是讲一个对象编码成一个字节流；相反，从字节流中重新构建对象就叫做反序列化。序列化主要有三种用途：●持久化：将内存中的对象经序列化后保存到磁盘上；●作为通信的数据传输格式：将一个机器上的内存中的对象经序列化后传输到其他机器上，或在相同机器上的不同进程之间的数据通信；●作为copy、clone机制：将对象序列化到内存中，然后通过反序列化，可以得到一个已存在的对象的cop...
2018-11-11 22:17:09
77
原创 用filezilla搭建FTP时的一个细节
用filezilla搭建FTP时的一个细节最近用自己的Linux主机搭建FTP，具体的配置不多说了基本是参照网上的教程，设置好ftp账号和密码之后使用其他设备登录就可以访问电脑上的事务了，而且我看移动端的FTP软件做得很不错，速度也很快。不过我遇到了一个问题：用手机平板通过设置的ftp账号登录后，默认的根目录就是你的FTP_user的目录(/home/FTP_user)，问题是你怎么能访问到其他...
2018-11-11 22:16:21
122
转载 Hadoop学习笔记：fsimage、editlogs、checkpoint和辅助namenode
转自http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/A Guide to Checkpointing in HadoopUnderstanding how checkpointing works in HDFS can make the difference between a healthy c...
2018-10-19 20:58:05
569
原创 Hadoop使用时的一些常见问题
Hadoop使用时的一些常见问题看日志，根据一些报错：datanode启动之后，jps不显示datanode进程：https://stackoverflow.com/questions/22316187/datanode-not-starts-correctlyjava.io.IOException: Incompatible clusterIDs in /home/hadoop/dfs/d...
2018-10-09 22:15:14
111
原创 几种排序算法
本文转载自码农网：http://www.codeceo.com/article/10-sort-algorithm-interview.html#0-tsina-1-10490-397232819ff9a47a7b7e80a40613cfe1 查找和排序算法是算法的入门知识，其经典思想可以用于很多算法当中。因为其实现代码较短，应用较常见。所以在面试中经常会问到排序算法及其相关的问题。但万...
2018-09-12 13:06:33
4547
2
转载 Hadoop学习笔记01-basics
Hadoop 是一个分布式计算的基础架构，用户在不需要了解底层细节的情况下，开发分布式的应用。Hadoop 最重要的是实现了一个分布式的文件系统，这样的文件系统可以架构在价格低廉的集群之上。Hadoop 另外一个重要内容就是MapReduce，一种分布式任务处理的架构。这两个部分构成了Hadoop的基石，Hadoop在创新在于从以前的以应用为中心，转变为以数据为中心。以前是应用获取数据进行处理...
2018-09-12 11:27:29
117
原创 常更新,记录一些常用的Linux软件
找软件可以来这里看超赞的linux软件以下是自己的一些常用alternative,不过自己目前用的当然不多,很多时候能用terminal解决更好 b站等视频网站down视频:you-get,youtube-dl,一次只能下载一个,如果遇到一个页面下有分p视频,解决方法是写一个脚本循环着下; pycharm,eclipse,idea,开发工具这些就不提了,linux下都有. XMind,思...
2018-04-17 20:44:46
403
原创 从决策树到GBDT & Xgboost（二）
CART分类与回归树（classification and regression tree）既可以用在分类，也可用在回归，是在给定输入随机变量XXX条件下输出随机变量YYY的条件概率分布的学习方法。同样的，CART需要生成和剪枝（pruning）。1.CART是二叉树，每个非叶子节点都有两个孩子。等于递归地构建二叉决策树。可用作回归或分类。2.对回归树，用平方误差最小化，对分类树，...
2018-03-22 16:20:50
202
原创 从决策树到GBDT & Xgboost（一）
最近，刚尝试了 kaggle，对 tree-based model 有了兴趣，发现这一类算法不仅在kaggle上广受好评，而且具有可解释性强、原理相对通俗易懂，而且经常和集成学习等结合，常常能发挥出优秀的效果。1. 决策树 (Decision Tree)如果你学习了数据结构，tree这个结构想必你不会陌生，无疑是最重要的数据结构之一，决策树其实也不过是类似的结构：对于一棵已经训练好的树...
2018-03-21 11:05:50
465
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人