- 博客(42)
- 收藏
- 关注
RSS订阅原创 linux 终端打开软件关闭终端不退出软件
linux 终端打开软件关闭终端不退出软件 1 nohup xxx & 日志会默认输出到 nohup.txt2 自定义脚本 #! /bin/bashfirefox https://pan.baidu.com/ & chmod +x xxx不要望了 #/bin/bash然后将其放到PATH中 直接在终端 敲命令就行了，即使关闭终端，软件也不会退出...
2018-12-28 22:52:40
1215
原创 linux 修改默认软件
～/.config/mimeapps.list此路径为默认软件配置的地方，比如说将文本默认文本由gedit改为sublimetext首先删除gedit 有点丑 ，然后将对应的改为sublimetext.desktop [Added Associations]application/x-shellscript=org.gnome.gedit.desktop;application...
2018-12-28 20:46:54
1501
1
原创 is marked as an executable but could not be run by the operating system
1 Failed to execute process './.sht'. Reason:exec: Exec format errorThe file './.sdf' is marked as an executable but could not be run by the operating system. 在 sh开头需加上 #! /bin/bash ,然后chmod +x ...
2018-12-27 17:11:06
2419
原创 linux init 0 1 2 3 4 5
# 0 - 停机（千万不能把initdefault 设置为0 ） # 1 - 单用户模式 # 2 - 多用户，没有 NFS # 3 - 完全多用户模式(标准的运行级) # 4 - 没有用到 # 5 - X11 （xwindow) # 6 - 重新启动 （千万不要把initdefault 设置为6 ） 开机进入无图形化界面设置 systemctl set-def...
2018-12-26 19:36:45
276
原创 虚拟机安装 centos 7 之后的工作
1 设置字符界面开机自动链接网络：修改/etc/sysconfig/network-scripts/ifcfg-enpxxxxxx（xxx）文件，一般为if-ens33 修改最后一句为onboot=yes2 关闭开机延时，开机总是要等上个两三秒：很烦vim /etc/default/grub timeout=0,然后还需要更新一下，grub注意在centos7下的up...
2018-12-24 22:08:13
367
原创 天眼查 selenium模拟登录爬虫
phantomjs 已经不支持了，所以改用chrome或firefox headless，但是chrome headless 不稳定，容易出问题，采用firefox headless ， import time from selenium import webdriver options = webdriver.FirefoxOptions()options.add...
2018-12-24 20:36:02
1375
1
原创 启动盘的制作
1 win 还是win7比较好，win10老是后台自动升级，升级完，系统卡死https://msdn.itellyou.cn/ msdn自主选择镜像 下载， msdn是纯净 版没有任何驱动，任何垃圾如360 2345所以需要自己提前下载一个万能网卡驱动 丢到迅雷里面就可以下载了，速度很快我用的是win7专业版，ed2k://|file|cn_windows_7_professio...
2018-12-23 20:14:59
116
原创 较简单的滑动验证破解
from https://blog.csdn.net/chenxiao17301/article/details/82911155 一、新旧版对比以前的滑动验证码可以得到原背景图和有缺口的背景图，两图比较，就可以计算出需要滑动的距离。新版的验证码，没有背景图片作参考，一点开就是带有缺口的图片，那么，我们怎么计算需要滑动的距离呢？二、解析过程 在检查页面源码时怀疑滑块...
2018-12-18 20:24:14
1972
原创 常见爬虫验证破解
from https://blog.csdn.net/qq_28119741/article/details/806041491.输入式验证码这种验证码主要是通过用户输入图片中的字母、数字、汉字等进行验证。如下图 图1 图2解决思路：这种是最简单的一种，只要识别出里面的内容，然后填入到输入框中即可。这种识别技术叫OCR，这里我...
2018-12-18 20:21:08
377
原创 linux 安装 selenium 以及 chromedriver 安装
pip install selenium注意chromedriver 一定要和自己的chrome 或者 chromium相对应，否则会报错然后解压，chmod +x chromedriver将其丢到 PATH任意路径即可
2018-12-18 20:16:28
912
原创 Docker error : mountpoint not found apt-get install libcgroup1
apt-get install cgroupfs-mount cgroup-bin cgroup-tools
2018-12-18 19:53:16
987
原创 docker部署pyspider
感觉pyspider不如scrapy好用三台机器，首先从 git clone https://github.com/binux/pyspider然后修改Dockerfile ，其中有些下载很慢的，需手动下载添加进去FROM hub.c.163.com/library/python:2.7MAINTAINER binux <[email protected]># insta...
2018-12-18 19:52:25
1055
原创 mysql设置允许远程访问，
有时mysql拒绝链接，是因为没有开启允许远程链接GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' 这里的123456为你给新增权限用户设置的密码，%代表所有主机，也可以具体到你的主机ip地址 2.flush privileges; 这一步一定要做，不然无法成功！ 这句表示从mys...
2018-12-18 19:43:14
132
原创 docker 覆盖与无法覆盖指令
转自：https://blog.csdn.net/taiyangdao/article/details/73123939通常，我们首先定义Dockerfile文件，然后通过docker build命令构建得到镜像文件。然后，才能够基于镜像文件通过docker run启动一个容器的实例。那么在启动一个容器的时候，就可以改变镜像文件中的一些参数，而镜像文件中的这些参数往往是通过Dockerfi...
2018-12-18 19:32:54
4669
原创 linux 运行 appimage Tim 文件 以及linux常用的win的软件
appimage 相比于deb更加容易方便，依赖较少，全部集成，跨linux版本平台 各种发行版都能用linux 版的Tim ，qq比较占资源，没有Tim清爽首先下载下来appimage 文件，chmod +x appimage添加32位支持dpkg --add-architecture i386然后 还需要安装 wine32 wine sudo apt install wi...
2018-12-11 20:20:23
1946
1
原创 CM搭建
cdh需要jdk 1.7 并且需要放到 /usr/java 目录下没有自己创建 ,因为 启动程序会自动去此目录查找 java -version chmod 775 /usr/java/jdk/ 4.9 安装ntp apt-get install ntp 4.10 启动ntp service ntp start 4.11 设置开机启动...
2018-12-10 22:25:20
636
原创 docker 不用输入sudo
cat /etc/groupsudo gpasswd -a user docker 即将当前用户加入到docker组中重启
2018-12-10 21:45:56
395
原创 linux 普通用户sudo 免密码 以及sudoers 配置详解
可以在 需要密码的地方提前设置密码，但不安全如 echo $pw | sudo -S xxx 大写的S第二种：/etc/sudoers中 username ALL=NOPASSWD:ALL如果不放心，可以只指定 一部分路径的权限username ALL=NOPASSWD:/usr/bin: 等等此方法就是添加了一个免密的sudo 用户如果想组用的话 %组名 ...
2018-12-10 20:53:16
7629
原创 linux 网易云 不能运行（点击图标）
刚下载ubuntu版本的安装上 deepin装不上，然后更新了一下删了些东西然后就打不开了，就搁置了一段时间，突然想装了linux版的印象笔记 就找到了 nixnote 装上之后 再打开 网易云又能打开了，貌似是缺少了什么依赖，正好让nixnote 补上了但打开一次后再打开就打不开很纳闷？ 有的说再后面加上 --no-sandbox 但无效后来想是不是权限的问题 ，首先在终端执行 ne...
2018-12-10 20:35:42
265
原创 linux 命令无法运行
linux 命令无法运行1 没有 赋予执行权限 chmod +x2 权限不够 sudo可以先用终端执行看看报什么错，不要直接就点击图标运行
2018-12-10 20:24:28
1323
原创 sql group by 注意事项
group by 一般和聚合函数一起使用才有意义,比如 count sum avg等,使用group by的两个要素: (1) 出现在select后面的字段 要么是是聚合函数中的,要么就是group by 中的. (2) 要筛选结果 可以先使用where 再用group by 或者先用group by 再用having这是SQL语法的规定，用了group by，则select之后的...
2018-12-10 20:17:49
777
原创 sql 查询不必需和聚合函数一起使用
sql 查询不必需和聚合函数一起使用 ，通常来说一般是要和聚合函数一起使用来处理这一组的数据 的数据但是有时不需要，会更方便，比如说 一个订单表里面需要拿到购买多次商品的用户id通常会怎么做？ 表字段有 customer_id, product_code 现在需要取出购买次数> 2 的customer_idselect customer_id from (select cust...
2018-12-10 20:00:59
727
原创 hive的一些概念 外部表 分区分桶
外部表：create external xxx() location默认创建内部表目录在 /user/hive/warehouse而外部表创建的时候，需要指定 external 关键字 以及location ，外部表与内部表的区别是 外部表可以创建在hdfs任一目录下，并且在drop table的时候 数据不会被清除;分区：指的是在创建表时，指定以那个字段分区，即 表目录下的子目录，比...
2018-12-09 20:04:47
391
原创 spark2.0 读取mysql 并加载到hive分区表 cdh
首先建立一个maven 项目 然后 add framework scala 添加scala支持将hive的相关配置放到项目的resources 目录下，core-site.xml hdfs-site.xml hive-site.xml如果是cdh的话，配置会有很多，可以自己简化一下，只保留 核心配置，比如说 namenode地址有的配置端口为8020 有的为9000 注意下端口，当初一...
2018-12-07 20:21:21
875
原创 cdh版 hive hive-site.xml 位置
真心感觉cdh不好用，乱糟糟的找了半天没发现在哪里，/etc里面的那个配置是thirft的配置不能用，需要mysql为元数据的那个配置偶然间发现在登录cm 左下角点进去hive 左下角 Hive metaStore Server 点进去 roletype 下面的随便点击一个进去在上面的Process里面记录了hive-site.xml mysql 为元数据库 密码为加密坑爹的...
2018-12-07 19:36:40
6446
原创 idea 的 一些插件
activate-power-mode 动态 代码power mode 2 x 动态代码 CodeGlance sb minimap 类似于sublimetext 的minimapbackgroud image plus 背景图片stackoverflow 直接转到stackoverflowmaven helper maven助手 scala bashsupportgr...
2018-12-07 19:16:51
126
原创 查询没有数据返回时返回一行默认值sql
select xxx from xxx union all SELECT 0,0,DATE_SUB(DATE_FORMAT(NOW(),'%Y-%m-%d'),INTERVAL 1 DAY),NOW() from DUAL"注意字段数量对应
2018-12-06 10:55:08
8626
1
原创 sed 一些操作，如批量删除指定，批量插入指定
sed -i 2,5d xxx.sh 删除第二到第五行包括第五行 ，且shell 从1 开始算起要加入 -i 否则只输出不修改for file in ./*; do sed -i 2,5d $file; done $file引用 批量sed -i '1 r test' dx.sh 在指定位置插入文件内容 在第一行后插入 test 文件的内容sed 插入某个文件的内容 ...
2018-12-04 20:44:20
1883
原创 vim 块操作 列操作 行操作 以及一些骚操作
esc v 左右键 选中 块操作esc shift v 行操作 常用来删除多行esc ctrl v列操作 上下选中 d delete列插入 选中后 shift i 输入内容 然后两下escctrl o i 返回上次编辑地方 ，用惯了vim 保存老是想去 esc ：wq也可 shift zz 保存 shift zq 不保持退出u 撤销 ctrl r 撤销上次撤销命令行...
2018-12-04 20:38:57
930
原创 azkaban发送邮件时地址包含localhost
azkaban发送邮件时地址包含localhost问题，将web conf azkaban.properties 中添加一个jetty.hostname=改为本机ip或主机名
2018-12-04 20:31:41
206
原创 azkaban 安装使用
fromhttps://www.cnblogs.com/tsxylhs/p/7737016.htmlAzkaban简介Azkaban的是什么Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。...
2018-12-03 20:42:17
218
原创 csdn 强制登录否则无法查看全文的解决办法
话说 csdn 强制登录否则无法查看全文的解决办法真的很烦 ，而且广告有那么多ctrl alt del 清空缓存 cookie 就行了
2018-12-03 20:38:40
1595
原创 一些shell总结 1
复杂shell 用python$(xxx) `` 是取结果的值 (fish)${} or $xx 取声明了的变量的值$# 是传给脚本的参数个数$0 是脚本本身的名字$1 是传递给该shell脚本的第一个参数$2 是传递给该shell脚本的第二个参数$@ 是传给脚本的所有参数的列表$* 是以一个单字符串显示所有向脚本传递的参数，与位置变量不同，参数可超过9个$$ 是脚本运行的...
2018-12-03 20:32:36
135
原创 mysql 以及hive 执行sql
mysql 有两种方式 针对sql脚本即多条sql放在一起mysql –u用户名 –p密码 –D数据库<【sql脚本文件路径全名】如果在 sql 脚本文件中使用了 use 数据库，则 -D数据库 选项可以忽略或者进入命令行mysql 中直接source path/xxx.sql 如果是直接执行 sql语句的话 mysql -h${HOSTNAME} -P$...
2018-12-03 20:25:37
479
原创 sql 时间处理 以及sql的一些函数
比如说原表为类型为 datetime2018-01-2200:00:00在sql中转换 采用 DATE_FORMAT 函数DATE_FORMAT(CREATE_TIME,'%Y-%m-%d')=DATE_FORMAT(NOW(),'%Y-%m-%d')ifnull(xxx,0)date_add(DATE_FORMAT(create_time,'%Y-%m-%d'),INTE...
2018-12-03 20:15:31
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人