Nutch2.2.1之MySQL数据库的配置和建表webpage语句

输入以下命令打开编辑界面

[plain]  view plain  copy

1. sudo vi /etc/mysql/my.cnf  

在[mysqld]下加入以下配置：

由于 MySQL Innodb 引擎表索引字段长度的限制为 767 字节，因此对于多字节字符集的大字段（或者多字段组合索引），创建索引会出现上面的错误。

以 utf8mb4 字符集 字符串类型字段为例：utf8mb4 是 4 字节字符集，则默认支持的索引字段最大长度是： 767 字节 / 4 字节每字符 = 191 字符，因此在 varchar(255) 或 char(255) 类型字段上创建索引会失败。

注：MySQL官网关于 utf8mb4 字符集的参考文档

以上具体参考来源：RDS MySQL 建索引时 Specified key was too long; max key length is 767 bytes 错误的处理

[plain]  view plain  copy

1. innodb_file_format=barracuda  
2. innodb_file_per_table=true  
3. innodb_large_prefix=true  
4. character-set-server=utf8mb4  
5. collation-server=utf8mb4_unicode_ci  
6. max_allowed_packet=500M  

在mysql中，输入以下命令创建数据库nutch

[plain]  view plain  copy

1. CREATE DATABASE nutch DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci;  

输入以下指令使用数据库nutch

[html]  view plain  copy

1. use nutch;  

输入以下指令创建数据库：

[plain]  view plain  copy

1. CREATE TABLE `webpage` (  
2. `id` varchar(767) NOT NULL,  
3. `headers` blob,  
4. `text` longtext DEFAULT NULL,  
5. `status` int(11) DEFAULT NULL,  
6. `markers` blob,  
7. `parseStatus` blob,  
8. `modifiedTime` bigint(20) DEFAULT NULL,  
9. `prevModifiedTime` bigint(20) DEFAULT NULL,  
10. `score` float DEFAULT NULL,  
11. `typ` varchar(32)  DEFAULT NULL,  
12. `batchId` varchar(32) DEFAULT NULL,  
13. `baseUrl` varchar(767) DEFAULT NULL,  
14. `content` longblob,  
15. `title` varchar(2048) DEFAULT NULL,  
16. `reprUrl` varchar(767) DEFAULT NULL,  
17. `fetchInterval` int(11) DEFAULT NULL,  
18. `prevFetchTime` bigint(20) DEFAULT NULL,  
19. `inlinks` mediumblob,  
20. `prevSignature` blob,  
21. `outlinks` mediumblob,  
22. `fetchTime` bigint(20) DEFAULT NULL,  
23. `retriesSinceFetch` int(11) DEFAULT NULL,  
24. `protocolStatus` blob,  
25. `signature` blob,  
26. `metadata` blob,  
27. PRIMARY KEY (`id`)  
28. ) ENGINE=InnoDB  
29. ROW_FORMAT=COMPRESSED  
30. DEFAULT CHARSET=utf8mb4;  

参考官方文档：http://wiki.apache.org/nutch/#Tutorials