cewl工具

一，工具介绍

cewl是一个ruby应用，爬行指定url的指定深度。也可以跟一个外部链接，结果会返回一个字典，这个字典可以传给其他工具进行密码暴力破解。（简单理解就是利用爬取到的网站的内容去生成字典）。

---

二，参数说明

cewl -h                          
CeWL 5.4.8 (Inclusion) Robin Wood (robin@digi.ninja) (https://digi.ninja/)
WARNING: Nokogiri was built against libxml version 2.9.10, but has dynamically loaded 2.9.14
Usage: cewl [OPTIONS] ... <url>

    OPTIONS:
	-h, --help: Show help.
	-k, --keep: Keep the downloaded file.
	-d <x>,--depth <x>: Depth to spider to, default 2.
	-m, --min_word_length: Minimum word length, default 3.
	-o, --offsite: Let the spider visit other sites.
	--exclude: A file containing a list of paths to exclude
	--allowed: A regex pattern that path must match to be followed
	-w, --write: Write the output to the file.
	-u, --ua <agent>: User agent to send.
	-n, --no-words: Don't output the wordlist.
	--lowercase: Lowercase all parsed words
	--with-numbers: Accept words with numbers in as well as just letters
	--convert-umlauts: Convert common ISO-8859-1 (Latin-1) umlauts (ä-ae, ö-oe, ü-ue, ß-ss)
	-a, --meta: include meta data.
	--meta_file file: Output file for meta data.
	-e, --email: Include email addresses.
	--email_file <file>: Output file for email addresses.
	--meta-temp-dir <dir>: The temporary directory used by exiftool when parsing files, default /tmp.
	-c, --count: Show the count for each word found.
	-v, --verbose: Verbose.
	--debug: Extra debug information.

	Authentication
	--auth_type: Digest or basic.
	--auth_user: Authentication username.
	--auth_pass: Authentication password.

	Proxy Support
	--proxy_host: Proxy host.
	--proxy_port: Proxy port, default 8080.
	--proxy_username: Username for proxy, if required.
	--proxy_password: Password for proxy, if required.

	Headers
	--header, -H: In format name:value - can pass multiple.

    <url>: The site to spider.

1. -m：用于指定最终生成字典中字符最小长度，只有超过指定长度才会记录到字典中

2. -d：爬取地址/网站的深度，一般默认是2

3. -e：收集包含email地址信息

4. -c：统计每个字符串出现的次数

5. -v：显示爬取过程中的详细信息

6. -w：将爬取到的字符串写入到指定文档

7. --debug：开启调试模式，这样就可以查看网站爬取过程中出现的错误和元数据了

8. --with-numbers：生成包含数字和字符的字典文件

9. --auth_type ，--auth_user， --auth_pass：目标网站需要进行页面登录认证的话，使用该参数来绕过页面认证的限制

10. --proxy_port：目标网站设置了代理服务器的话，–proxy option选项来启用代理URL功能，默认端口是8080

11. –proxy_host：代理主机地址

12. –proxy_username：代理的账户名

13. –proxy_password：代理的密码

1，保存字典文件

 

2，生成特定长度的字典

 

3，从网站中获取Email，-n选项来隐藏工具在爬取网站过程中生成的密码字典

 

 4，计算网站字典中重复的单词数量

 5，目标网站需要进行页面登录认证的话，我们就要使用下列参数来绕过页面认证的限制

6，代理url