MISC-原创
think_ycx
这个作者很懒,什么都没留下…
展开
-
【pySpark】报错:SparkContext can only be used on the driver, not in code that it run on workers.
在写pySpark时,driver(py运行的机器)上的py函数中,如果需要操作 SparkContext相关的对象,需要把这个函数标注为 @staticmethod。否则会报错,log参考文章最后。猜测原理是:需要把这个函数 通过序列化传输给spark的worker所在的机器。参考:1、https://stackoverflow.com/questions/44289962/errorsparkcontext-can-only-be-used-on-the-driver-not..原创 2021-05-19 19:27:44 · 1348 阅读 · 0 评论 -
关于powershell Invoke-WebRequest
powershell 3.0之后才有。参考:Joe had provided you withthe correct TechNet article link.TheInvoke-WebRequestcmdlet was introduced in Windows PowerShell 3.0.In Windows Server 2008, if installKB968929, there should be PowerShell 2.0 in the server 200...原创 2021-04-14 12:08:12 · 921 阅读 · 0 评论 -
关于scp 的 -t 参数
scp这个-t参数没有文档记录,但是细心的同学有时候可能会发现。-t参数被触发,意味着当前机器上的scp,即将收到另一个scp传输过来的文件。例如在A上 向B scp一个文件。scp ./* host:/rootB上的ssh会派生这个进程:bash -c scp -t /root(也可能是别的shell zsh -c scp -t /root)参考:https://stackoverflow.com/questions/50637523/where-do-i-find-...原创 2021-02-02 17:15:18 · 2670 阅读 · 0 评论 -
关闭centos wayland
1、查看$XDG_SESSION_TYPE看图形界面是: Wayland还是X11参考:https://linuxconfig.org/how-to-disable-wayland-and-enable-xorg-display-server-on-ubuntu-18-04-bionic-beaver-linux2、关闭Wayland方法:sudo vim /etc/gdm/custom.conf取消注释修改WaylandEnable=false...原创 2020-12-24 15:56:31 · 1700 阅读 · 1 评论 -
【Error】 交叉编译ncurses-6.1 make install 报错 strip: Unable to recognise the format of the input
发生在交叉编译tmux时,交叉编译ncurses-6.1 make install 报错:.. installing alias ttytype.3ncurses.gzinstalling /root/Pwn/tmp/gdb-aarch64/tmux/tmux/ncurses-6.1/out/share/man/man5/terminfo.5.gzinstalling /root/Pwn...原创 2019-08-21 00:13:55 · 3775 阅读 · 2 评论 -
【资源】公开的电子书 合集 (计算机相关、多高清、pdf)
https://github.com/justjavac/free-programming-books-zh_CNhttps://github.com/noidhere/bookhttps://github.com/aidanharris/Free-Security-eBooks-from-PacktPubhttps://github.com/Pines-Cheng/share/h...原创 2019-05-06 15:23:43 · 7190 阅读 · 1 评论 -
ubuntu18.04 静态ip设置方法
服务器老是遇到掉包的问题,ping一分钟大概会丢5%的数据包。arp、tcpdump一阵分析没发现原因,最后设置静态ip后稳定了很多。ubuntu18.04 静态ip设置方法步骤一:sudo vim /etc/netplan/01-network-manager-all.yaml文件:# Let NetworkManager manage all devices on this sy...原创 2019-01-08 16:30:02 · 3049 阅读 · 0 评论 -
记一次vmware磁盘扩容
编译源码时发现报错空间不足,如果创建虚拟机时选择了多个vmdk存储,则需要先合并,然后从vmdk创建新的虚拟机之后再扩容即可。一、首先将多个vmdk合并成一个vmdk后扩容,执行命令。C:\Program Files (x86)\VMware\VMware Workstationλ vmware-vdiskmanager.exe -r "G:\ubuntu16.04-x64-pwn\ubuntu...原创 2018-06-20 14:28:50 · 10053 阅读 · 2 评论 -
使用fiddler 抓取windows 10 应用程序https流量
由头:最近装了火绒,该软件有一个功能可以拦截程序第一次发起的网络请求。如果把该程序列为白名单之后,下次就默认放行了。由此发现了很多软件莫名其妙的发起网络请求,有的是https的,出于好奇想看下流量是数据包,因此实践一下fiddler抓包。一、打开fiddler,设置端口。打开菜单栏中Tools->Options:二、Connections中设置监听端口,default 8888三、HTTPs...原创 2018-06-14 11:04:06 · 19349 阅读 · 2 评论 -
记一次vmware磁盘扩容part2:真正扩展根目录
最近遇到的问题是,在vmware的ubuntu中编译源码磁盘不够了,因此需要合并vmdk后,扩展磁盘大小。扩展磁盘后,需要借助gparted分配设备分区,然后重新挂载到了根目录下中新建的文件夹中/new。具体可以参考上篇水文:https://blog.csdn.net/think_ycx/article/details/80745539其实一直是想扩充根目录的,而不是挂载到一个新的目录。其实gpa...原创 2018-06-21 01:44:53 · 1033 阅读 · 0 评论 -
安全客&FREEBUF 文章阅读量似乎有点问题
安全客&FREEBUF 文章阅读量似乎有点问题,随手写个脚本测试一下,其中freebuf那篇文章是很老的文章了,居然阅读量还是嗖嗖的涨...下次是不是可以写个折线图分析一下,看看每次加的是不是有规律的?➜ scripts cat freebufcurl.sh#!/bin/bashwhile :do number=`curl -s www.freebuf.com/articl...原创 2018-04-27 12:03:23 · 1612 阅读 · 5 评论 -
记一次文件传输 :curl 上传& php 接收
今晚实验室的同学有一个需求,需要拷一下虚拟机A 中的文件: /usr/lib/i386-linux-gnu/libc.a本来以为分分钟可以搞定的,结果折腾了一个多小时。在此记录一下吧。这个虚拟机是别人提供的,给了个vmdx磁盘文件,创建了之后发现是read-only system,不知道是怎么做到的。因此创建文件什么的是不可能了。修改配置文件、安装软件也不行了。虚拟机开了22端口,那么通过ssh传...原创 2018-04-25 00:52:27 · 966 阅读 · 0 评论